∴ GitHub / 趋势仓库

microsoft / VibeVoice

微软开源的前沿语音 AI 模型家族,涵盖 TTS 与 ASR

语言
Python
Star
56.2k
Fork
6.3k
当日新增(11-06)
+223
累计在榜
2 天
最高名次
第 13 名
首次上榜
2026-11-05
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

VibeVoice 是微软开源的一组语音 AI 模型,包含文本转语音(TTS)与自动语音识别(ASR)两类。其核心是运行在 7.5 Hz 超低帧率上的连续语音分词器(Acoustic 与 Semantic),并采用 next-token diffusion 框架:由 LLM 理解文本上下文与对话流,再由扩散头生成高保真声学细节。仓库以 Python 为主,提供各模型的文档、Hugging Face 权重链接与在线试用入口。

∴ 解决什么问题

  • 常规 ASR 将音频切成短片段处理,容易丢失全局上下文,VibeVoice-ASR 支持单次处理最长 60 分钟音频以保持说话人跟踪与语义连贯。
  • 长对话音频的合成需要保持说话人一致性与自然轮次,VibeVoice-TTS 支持单次生成最长 90 分钟、最多 4 位说话人的语音。
  • 实时场景需要低延迟的流式语音输出,VibeVoice-Realtime 支持流式文本输入与实时 TTS。
  • 领域专有名词识别准确率不足,ASR 支持用户自定义 hotwords 引导识别。

∴ 适合谁

需要长音频转写、说话人分离与时间戳的语音识别开发者,以及需要长格式多说话人语音合成或实时流式 TTS 的语音应用开发者。

∴ 要点

  • VibeVoice-ASR 单次处理 60 分钟长音频,在 64K token 长度内输出包含 Who(说话人)、When(时间戳)、What(内容)的结构化转写。
  • VibeVoice-ASR 原生多语言,支持 50 种以上语言,并提供流式识别变体与 vLLM 推理支持。
  • VibeVoice-TTS 支持最长 90 分钟、最多 4 位说话人的长格式多说话人语音合成,支持英语、中文等语言。
  • VibeVoice-Realtime-0.5B 参数量 0.5B,首次可听延迟约 300 毫秒,支持约 10 分钟的稳健长格式语音生成。
  • VibeVoice-ASR-BitNet 为面向边缘 CPU 的推理引擎,通过异构量化将模型从 4.62 GB 压缩至 1.58 GB,在 3 个以上 CPU 线程上实现 RTF < 1,无需 GPU。
  • 仓库采用 MIT 许可证;README 说明 VibeVoice-TTS 代码已从仓库中移除。
许可证 MIT

解读由 AI 依据项目 README 生成,生成于 2026-11-05,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-05 首次上榜,累计在榜 2 天,最高第 13 名。

[object Object]2026-11-05 +2142026-11-06 +223
每日新增 Star · 2026-11-05 至 2026-11-06 · 共 2 个在榜日峰值 +223
日期名次当日新增总 Star
#13+22356,227
#13+21455,384