wehub-resource-sync
214 lines
10 KiB
Markdown
214 lines
10 KiB
Markdown
<!-- WEHUB_ZH_README -->
|
||
> [!NOTE]
|
||
> 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
|
||
> [English](./README.en.md) · [原始项目](https://github.com/microsoft/VibeVoice) · [上游 README](https://github.com/microsoft/VibeVoice/blob/HEAD/README.md)
|
||
> 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
|
||
|
||
<div align="center">
|
||
|
||
## 🎙️ VibeVoice：开源前沿语音 AI
|
||
[](https://microsoft.github.io/VibeVoice)
|
||
[](https://huggingface.co/collections/microsoft/vibevoice-68a2ef24a875c44be47b034f)
|
||
[](https://openreview.net/pdf?id=FihSkzyxdv)
|
||
[](https://arxiv.org/pdf/2601.18184)
|
||
[](https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/VibeVoice_colab.ipynb)
|
||
[](https://aka.ms/vibevoice-asr)
|
||
|
||
[](https://trendshift.io/repositories/15465)
|
||
|
||
</div>
|
||
|
||
|
||
<div align="center">
|
||
<picture>
|
||
<source media="(prefers-color-scheme: dark)" srcset="Figures/VibeVoice_logo_white.png">
|
||
<img src="Figures/VibeVoice_logo.png" alt="VibeVoice Logo" width="300">
|
||
</picture>
|
||
</div>
|
||
|
||
<div align="left">
|
||
|
||
<h3>📰 新闻</h3>
|
||
|
||
|
||
|
||
|
||
<strong>2026-03-06：🚀 VibeVoice ASR 现已纳入 <a href="https://huggingface.co/microsoft/VibeVoice-ASR-HF">Transformers 发布版本</a>！你现在可以通过 Hugging Face Transformers 库直接使用我们的语音识别模型，无缝集成到你的项目中。</strong>
|
||
|
||
<strong>2026-01-21：</strong> 📣 我们开源了 <a href="docs/vibevoice-asr.md"><strong>VibeVoice-ASR</strong></a>，这是一款统一的语音转文本（Speech-to-Text）模型，旨在单次处理长达 60 分钟的长音频，生成包含 Who（说话人）、When（时间戳）和 What（内容）的结构化转录结果，并支持用户自定义上下文（User-Customized Context）。可在 [Playground](https://aka.ms/vibevoice-asr). 试用。
|
||
- ⭐️ VibeVoice-ASR 原生支持多语言，覆盖 50 多种语言 — 详见[支持的语言](docs/vibevoice-asr.md#language-distribution)。
|
||
- 🔥 VibeVoice-ASR [微调代码](finetuning-asr/README.md) 现已发布！
|
||
- ⚡️ 现已支持 **vLLM 推理**，可实现更快推理；详见 [vllm-asr](docs/vibevoice-vllm-asr.md)。
|
||
- 📑 [VibeVoice-ASR 技术报告](https://arxiv.org/pdf/2601.18184) 现已发布。
|
||
|
||
2025-12-16：📣 我们为 <a href="docs/vibevoice-realtime-0.5b.md"><strong>VibeVoice‑Realtime‑0.5B</strong></a> 新增了实验性说话人供探索，包括九种语言（DE、FR、IT、JP、KR、NL、PL、PT、ES）的多语言音色，以及 11 种不同的英语风格音色。[立即试用](docs/vibevoice-realtime-0.5b.md#optional-more-experimental-voices)。后续将陆续增加更多说话人类型。
|
||
|
||
2025-12-03：📣 我们开源了 <a href="docs/vibevoice-realtime-0.5b.md"><strong>VibeVoice‑Realtime‑0.5B</strong></a>，这是一款支持流式文本输入、可稳健生成长篇语音的实时文本转语音（Text-to-Speech）模型。可在 [Colab](https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/vibevoice_realtime_colab.ipynb). 试用。
|
||
|
||
|
||
2025-09-05：VibeVoice 是一个旨在推动语音合成社区协作的开源研究框架。发布之后，我们发现该工具存在与既定用途不一致的使用情况。由于负责任地使用 AI 是 Microsoft 的指导原则之一，我们已从本仓库中移除 VibeVoice-TTS 代码。
|
||
|
||
|
||
2025-08-25：📣 我们开源了 <a href="docs/vibevoice-tts.md"><strong>VibeVoice-TTS</strong></a>，这是一款长篇幅多说话人文本转语音模型，可合成最长 90 分钟、最多 4 位不同说话人的语音。—— 已被 ICLR 2026 接收为 [Oral](https://openreview.net/forum?id=FihSkzyxdv)！🔥
|
||
|
||
</div>
|
||
|
||
## 概述
|
||
|
||
VibeVoice 是一个**开源前沿语音 AI 模型家族**，涵盖文本转语音（Text-to-Speech，TTS）与自动语音识别（Automatic Speech Recognition，ASR）模型。
|
||
|
||
VibeVoice 的一项核心创新是采用以 **7.5 Hz** 超低帧率运行的连续语音分词器（Acoustic 与 Semantic）。这些分词器在高效保留音频保真度的同时，显著提升了处理长序列的计算效率。VibeVoice 采用 [next-token diffusion](https://arxiv.org/abs/2412.08635) 框架，借助大语言模型（Large Language Model，LLM）理解文本上下文与对话流程，并通过扩散头（diffusion head）生成高保真声学细节。
|
||
|
||
更多信息、演示与示例，请访问我们的[项目主页](https://microsoft.github.io/VibeVoice).
|
||
|
||
|
||
<div align="center">
|
||
|
||
| 模型 | 权重 | 快速试用 |
|
||
|-------|--------------|---------|
|
||
| VibeVoice-ASR-7B | [HF Link](https://huggingface.co/microsoft/VibeVoice-ASR) | [Playground](https://aka.ms/vibevoice-asr) |
|
||
| VibeVoice-TTS-1.5B | [HF Link](https://huggingface.co/microsoft/VibeVoice-1.5B) | Disabled |
|
||
| VibeVoice-Realtime-0.5B | [HF Link](https://huggingface.co/microsoft/VibeVoice-Realtime-0.5B) | [Colab](https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/vibevoice_realtime_colab.ipynb) |
|
||
|
||
</div>
|
||
|
||
## 模型
|
||
|
||
|
||
### 1. 📖 [VibeVoice-ASR](docs/vibevoice-asr.md) - 长音频语音识别
|
||
|
||
**VibeVoice-ASR** 是一款统一的语音转文本模型，旨在单次处理**长达 60 分钟的长音频**，生成包含 **Who（说话人）、When（时间戳）和 What（内容）** 的结构化转录结果，并支持**自定义热词（Customized Hotwords）**。
|
||
|
||
- **🕒 60 分钟单次处理**：
|
||
与将音频切分为短片段（往往会丢失全局上下文）的传统 ASR 模型不同，VibeVoice ASR 可在 64K token 长度内接受最长 **60 分钟**的连续音频输入。这确保在整个一小时内保持一致的说话人跟踪与语义连贯性。
|
||
|
||
- **👤 自定义热词**：
|
||
用户可提供自定义热词（例如特定姓名、技术术语或背景信息）以引导识别过程，显著提升领域特定内容的识别准确率。
|
||
|
||
- **📝 丰富转录（Who、When、What）**：
|
||
该模型联合执行 ASR、说话人分离（diarization）与时间戳标注，输出结构化结果，标明*谁在何时说了什么*。
|
||
|
||
[📖 文档](docs/vibevoice-asr.md) | [🤗 Hugging Face](https://huggingface.co/microsoft/VibeVoice-ASR) | [🎮 Playground](https://aka.ms/vibevoice-asr) | [🛠️ 微调](finetuning-asr/README.md) | [📊 论文](docs/VibeVoice-ASR-Report.pdf)
|
||
|
||
|
||
<p align="center">
|
||
<img src="Figures/DER.jpg" alt="DER" width="50%"><br>
|
||
<img src="Figures/cpWER.jpg" alt="cpWER" width="50%"><br>
|
||
<img src="Figures/tcpWER.jpg" alt="tcpWER" width="50%">
|
||
</p>
|
||
|
||
|
||
<div align="center" id="vibevoice-asr">
|
||
|
||
https://github.com/user-attachments/assets/acde5602-dc17-4314-9e3b-c630bc84aefa
|
||
|
||
</div>
|
||
<br>
|
||
|
||
### 2. 🎙️ [VibeVoice-TTS](docs/vibevoice-tts.md) - 长篇幅多说话人 TTS
|
||
|
||
**最适合**：长篇幅对话音频、播客、多说话人对话
|
||
|
||
- **⏱️ 90 分钟长篇幅生成**：
|
||
单次可合成最长 **90 分钟**的对话式/单说话人语音，全程保持说话人一致性与语义连贯性。
|
||
|
||
- **👥 多说话人支持**：
|
||
单次对话最多支持 **4 位不同说话人**，在长对话中实现自然的轮替与一致的说话人表现。
|
||
|
||
- **🎭 富有表现力的语音**：
|
||
生成富有表现力、听起来自然的语音，捕捉对话动态与情感细微差别。
|
||
|
||
- **🌐 多语言支持**：
|
||
支持英语、中文及其他语言。
|
||
|
||
|
||
[📖 文档](docs/vibevoice-tts.md) | [🤗 Hugging Face](https://huggingface.co/microsoft/VibeVoice-1.5B) | [📊 论文](https://arxiv.org/pdf/2508.19205)
|
||
|
||
|
||
<div align="center">
|
||
<img src="Figures/VibeVoice-TTS-results.jpg" alt="VibeVoice Results" width="80%">
|
||
</div>
|
||
|
||
|
||
**English**
|
||
<div align="center">
|
||
|
||
https://github.com/user-attachments/assets/0967027c-141e-4909-bec8-091558b1b784
|
||
|
||
</div>
|
||
|
||
|
||
**中文**
|
||
<div align="center">
|
||
|
||
https://github.com/user-attachments/assets/322280b7-3093-4c67-86e3-10be4746c88f
|
||
|
||
</div>
|
||
|
||
**跨语言**
|
||
<div align="center">
|
||
|
||
https://github.com/user-attachments/assets/838d8ad9-a201-4dde-bb45-8cd3f59ce722
|
||
|
||
</div>
|
||
|
||
**即兴演唱**
|
||
<div align="center">
|
||
|
||
https://github.com/user-attachments/assets/6f27a8a5-0c60-4f57-87f3-7dea2e11c730
|
||
|
||
</div>
|
||
|
||
|
||
**四人长对话**
|
||
<div align="center">
|
||
|
||
https://github.com/user-attachments/assets/a357c4b6-9768-495c-a576-1618f6275727
|
||
|
||
</div>
|
||
|
||
|
||
|
||
|
||
|
||
<br>
|
||
|
||
### 3. ⚡ [VibeVoice-Streaming](docs/vibevoice-realtime-0.5b.md) - 实时流式 TTS
|
||
|
||
VibeVoice-Realtime 是一款**轻量级实时**文本转语音（text-to-speech，TTS）模型，支持**流式文本输入**和**稳健的长篇语音生成**。
|
||
|
||
- 参数量：0.5B（便于部署）
|
||
- 实时 TTS（首次可听延迟约 300 毫秒）
|
||
- 流式文本输入
|
||
- 稳健的长篇语音生成（约 10 分钟）
|
||
|
||
[📖 文档](docs/vibevoice-realtime-0.5b.md) | [🤗 Hugging Face](https://huggingface.co/microsoft/VibeVoice-Realtime-0.5B) | [🚀 Colab](https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/vibevoice_realtime_colab.ipynb)
|
||
|
||
|
||
<div align="center" id="generated-example-audio-vibevoice-realtime">
|
||
|
||
https://github.com/user-attachments/assets/0901d274-f6ae-46ef-a0fd-3c4fba4f76dc
|
||
|
||
</div>
|
||
|
||
<br>
|
||
|
||
## 贡献
|
||
|
||
请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 了解详细的贡献指南。
|
||
|
||
|
||
|
||
## ⚠️ 风险与限制
|
||
|
||
|
||
尽管我们已通过多种技术对其进行优化，模型仍可能产生出人意料、带有偏见或不准确的输出。VibeVoice 会继承其基座模型（本版本具体为 Qwen2.5 1.5b）所产生的任何偏见、错误或遗漏。
|
||
深度伪造与虚假信息风险：高质量合成语音可能被滥用于制作逼真的虚假音频内容，以进行冒充、欺诈或传播虚假信息。用户必须确保转录文本可靠、核查内容准确性，并避免以误导性方式使用生成内容。用户应以合法方式使用生成内容并部署模型，全面遵守相关司法管辖区适用的全部法律法规。分享 AI 生成内容时，最佳做法是披露 AI 的使用情况。
|
||
|
||
|
||
未经进一步测试与开发，我们不建议将 VibeVoice 用于商业或真实场景应用。本模型仅供研究与开发用途。请负责任地使用。
|
||
|
||
## Star 历史
|
||
|
||
|