wehub-resource-sync
10 KiB
Note
本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
🎙️ VibeVoice：开源前沿语音 AI
📰 新闻
2026-03-06：🚀 VibeVoice ASR 现已纳入 Transformers 发布版本！你现在可以通过 Hugging Face Transformers 库直接使用我们的语音识别模型，无缝集成到你的项目中。
2026-01-21： 📣 我们开源了 VibeVoice-ASR，这是一款统一的语音转文本（Speech-to-Text）模型，旨在单次处理长达 60 分钟的长音频，生成包含 Who（说话人）、When（时间戳）和 What（内容）的结构化转录结果，并支持用户自定义上下文（User-Customized Context）。可在 Playground. 试用。
- ⭐️ VibeVoice-ASR 原生支持多语言，覆盖 50 多种语言 — 详见支持的语言。
- 🔥 VibeVoice-ASR 微调代码 现已发布！
- ⚡️ 现已支持 vLLM 推理，可实现更快推理；详见 vllm-asr。
- 📑 VibeVoice-ASR 技术报告 现已发布。
2025-12-16：📣 我们为 VibeVoice‑Realtime‑0.5B 新增了实验性说话人供探索，包括九种语言（DE、FR、IT、JP、KR、NL、PL、PT、ES）的多语言音色，以及 11 种不同的英语风格音色。立即试用。后续将陆续增加更多说话人类型。
2025-12-03：📣 我们开源了 VibeVoice‑Realtime‑0.5B，这是一款支持流式文本输入、可稳健生成长篇语音的实时文本转语音（Text-to-Speech）模型。可在 Colab. 试用。
2025-09-05：VibeVoice 是一个旨在推动语音合成社区协作的开源研究框架。发布之后，我们发现该工具存在与既定用途不一致的使用情况。由于负责任地使用 AI 是 Microsoft 的指导原则之一，我们已从本仓库中移除 VibeVoice-TTS 代码。
2025-08-25：📣 我们开源了 VibeVoice-TTS，这是一款长篇幅多说话人文本转语音模型，可合成最长 90 分钟、最多 4 位不同说话人的语音。—— 已被 ICLR 2026 接收为 Oral！🔥
概述
VibeVoice 是一个开源前沿语音 AI 模型家族，涵盖文本转语音（Text-to-Speech，TTS）与自动语音识别（Automatic Speech Recognition，ASR）模型。
VibeVoice 的一项核心创新是采用以 7.5 Hz 超低帧率运行的连续语音分词器（Acoustic 与 Semantic）。这些分词器在高效保留音频保真度的同时，显著提升了处理长序列的计算效率。VibeVoice 采用 next-token diffusion 框架，借助大语言模型（Large Language Model，LLM）理解文本上下文与对话流程，并通过扩散头（diffusion head）生成高保真声学细节。
更多信息、演示与示例，请访问我们的项目主页.
| 模型 | 权重 | 快速试用 |
|---|---|---|
| VibeVoice-ASR-7B | HF Link | Playground |
| VibeVoice-TTS-1.5B | HF Link | Disabled |
| VibeVoice-Realtime-0.5B | HF Link | Colab |
模型
1. 📖 VibeVoice-ASR - 长音频语音识别
VibeVoice-ASR 是一款统一的语音转文本模型，旨在单次处理长达 60 分钟的长音频，生成包含 Who（说话人）、When（时间戳）和 What（内容） 的结构化转录结果，并支持自定义热词（Customized Hotwords）。
-
🕒 60 分钟单次处理： 与将音频切分为短片段（往往会丢失全局上下文）的传统 ASR 模型不同，VibeVoice ASR 可在 64K token 长度内接受最长 60 分钟的连续音频输入。这确保在整个一小时内保持一致的说话人跟踪与语义连贯性。
-
👤 自定义热词： 用户可提供自定义热词（例如特定姓名、技术术语或背景信息）以引导识别过程，显著提升领域特定内容的识别准确率。
-
📝 丰富转录（Who、When、What）： 该模型联合执行 ASR、说话人分离（diarization）与时间戳标注，输出结构化结果，标明谁在何时说了什么。
📖 文档 | 🤗 Hugging Face | 🎮 Playground | 🛠️ 微调 | 📊 论文
2. 🎙️ VibeVoice-TTS - 长篇幅多说话人 TTS
最适合：长篇幅对话音频、播客、多说话人对话
-
⏱️ 90 分钟长篇幅生成： 单次可合成最长 90 分钟的对话式/单说话人语音，全程保持说话人一致性与语义连贯性。
-
👥 多说话人支持： 单次对话最多支持 4 位不同说话人，在长对话中实现自然的轮替与一致的说话人表现。
-
🎭 富有表现力的语音： 生成富有表现力、听起来自然的语音，捕捉对话动态与情感细微差别。
-
🌐 多语言支持： 支持英语、中文及其他语言。
📖 文档 | 🤗 Hugging Face | 📊 论文
English
中文
跨语言
即兴演唱
四人长对话
3. ⚡ VibeVoice-Streaming - 实时流式 TTS
VibeVoice-Realtime 是一款轻量级实时文本转语音（text-to-speech，TTS）模型，支持流式文本输入和稳健的长篇语音生成。
- 参数量：0.5B（便于部署）
- 实时 TTS（首次可听延迟约 300 毫秒）
- 流式文本输入
- 稳健的长篇语音生成（约 10 分钟）
📖 文档 | 🤗 Hugging Face | 🚀 Colab
贡献
请参阅 CONTRIBUTING.md 了解详细的贡献指南。
⚠️ 风险与限制
尽管我们已通过多种技术对其进行优化，模型仍可能产生出人意料、带有偏见或不准确的输出。VibeVoice 会继承其基座模型（本版本具体为 Qwen2.5 1.5b）所产生的任何偏见、错误或遗漏。 深度伪造与虚假信息风险：高质量合成语音可能被滥用于制作逼真的虚假音频内容，以进行冒充、欺诈或传播虚假信息。用户必须确保转录文本可靠、核查内容准确性，并避免以误导性方式使用生成内容。用户应以合法方式使用生成内容并部署模型，全面遵守相关司法管辖区适用的全部法律法规。分享 AI 生成内容时，最佳做法是披露 AI 的使用情况。
未经进一步测试与开发，我们不建议将 VibeVoice 用于商业或真实场景应用。本模型仅供研究与开发用途。请负责任地使用。