∴ GitHub / 趋势仓库
microsoft / VibeVoice
微软开源的前沿语音 AI 模型家族,涵盖 TTS 与 ASR
- 语言
- Python
- Star
- 56.2k
- Fork
- 6.3k
- 当日新增(11-06)
- +223
- 累计在榜
- 2 天
- 最高名次
- 第 13 名
- 首次上榜
- 2026-11-05
∴ 是什么
VibeVoice 是微软开源的一组语音 AI 模型,包含文本转语音(TTS)与自动语音识别(ASR)两类。其核心是运行在 7.5 Hz 超低帧率上的连续语音分词器(Acoustic 与 Semantic),并采用 next-token diffusion 框架:由 LLM 理解文本上下文与对话流,再由扩散头生成高保真声学细节。仓库以 Python 为主,提供各模型的文档、Hugging Face 权重链接与在线试用入口。
∴ 解决什么问题
- 常规 ASR 将音频切成短片段处理,容易丢失全局上下文,VibeVoice-ASR 支持单次处理最长 60 分钟音频以保持说话人跟踪与语义连贯。
- 长对话音频的合成需要保持说话人一致性与自然轮次,VibeVoice-TTS 支持单次生成最长 90 分钟、最多 4 位说话人的语音。
- 实时场景需要低延迟的流式语音输出,VibeVoice-Realtime 支持流式文本输入与实时 TTS。
- 领域专有名词识别准确率不足,ASR 支持用户自定义 hotwords 引导识别。
∴ 适合谁
需要长音频转写、说话人分离与时间戳的语音识别开发者,以及需要长格式多说话人语音合成或实时流式 TTS 的语音应用开发者。
∴ 要点
- VibeVoice-ASR 单次处理 60 分钟长音频,在 64K token 长度内输出包含 Who(说话人)、When(时间戳)、What(内容)的结构化转写。
- VibeVoice-ASR 原生多语言,支持 50 种以上语言,并提供流式识别变体与 vLLM 推理支持。
- VibeVoice-TTS 支持最长 90 分钟、最多 4 位说话人的长格式多说话人语音合成,支持英语、中文等语言。
- VibeVoice-Realtime-0.5B 参数量 0.5B,首次可听延迟约 300 毫秒,支持约 10 分钟的稳健长格式语音生成。
- VibeVoice-ASR-BitNet 为面向边缘 CPU 的推理引擎,通过异构量化将模型从 4.62 GB 压缩至 1.58 GB,在 3 个以上 CPU 线程上实现 RTF < 1,无需 GPU。
- 仓库采用 MIT 许可证;README 说明 VibeVoice-TTS 代码已从仓库中移除。
许可证 MIT
解读由 AI 依据项目 README 生成,生成于 2026-11-05,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-05 首次上榜,累计在榜 2 天,最高第 13 名。