wehub-resource-sync
a780510cf5
Build, validate, and release Neural Modules / pre-flight (push) Failing after 0s
Create PR to main with cherry-pick from release / cherry-pick (push) Failing after 1s
Build, validate, and release Neural Modules / release (push) Has been skipped
CodeQL / Analyze (python) (push) Has been cancelled
Build, validate, and release Neural Modules / release-summary (push) Has been cancelled
128 lines
11 KiB
Markdown
128 lines
11 KiB
Markdown
<!-- WEHUB_ZH_README -->
|
||
> [!NOTE]
|
||
> 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
|
||
> [English](./README.en.md) · [原始项目](https://github.com/NVIDIA-NeMo/Speech) · [上游 README](https://github.com/NVIDIA-NeMo/Speech/blob/HEAD/README.md)
|
||
> 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
|
||
|
||
[](http://www.repostatus.org/#active)
|
||
[](https://docs.nvidia.com/nemo/speech/nightly/)
|
||
[](https://github.com/nvidia/nemo/actions/workflows/codeql.yml)
|
||
[](https://github.com/NVIDIA/NeMo/blob/master/LICENSE)
|
||
[](https://badge.fury.io/py/nemo-toolkit)
|
||
[](https://badge.fury.io/py/nemo-toolkit)
|
||
[](https://pepy.tech/project/nemo-toolkit)
|
||
[](https://github.com/psf/black)
|
||
|
||
# **NVIDIA NeMo Speech**
|
||
查看我们的 [HuggingFace🤗 集合](https://huggingface.co/collections/nvidia/nemotron-speech)，获取最新的开放权重检查点（checkpoints）和演示！
|
||
|
||
## 更新
|
||
|
||
> NeMo 仓库拆分后，NeMo Speech 的首个发布计划于 2026 年 6 月推出，届时本仓库将进行转型。
|
||
> 如需最新稳定发布版本，请使用 [26.02 NGC 容器](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo?version=26.02).
|
||
|
||
- 2026-06：[Nemotron-3.5-ASR-Streaming-0.6B](https://huggingface.co/nvidia/nemotron-3.5-asr-streaming-0.6b) 已发布，支持 40 种语言，可控延迟 80ms-1s，在 1xH100 上可支持 240-2400 路并发流。基于 cache-aware Fastconformer 架构构建。
|
||
- 2026-04：[Parakeet-unified-en-0.6b](https://huggingface.co/nvidia/parakeet-unified-en-0.6b) 已发布，单一模型即可为英语提供高质量离线与流式（最低延迟 160ms）推理，并支持标点与大小写。
|
||
- 2026-03：[Nemotron 3 VoiceChat](https://build.nvidia.com/nvidia/nemotron-voicechat/modelcard) 现已以 Early Access 形式发布。基于 Nemotron Nano v2 LLM 骨干网络，搭配 Nemotron speech 与 TTS 解码器，VoiceChat 可提供全双工、自然、可打断的低延迟对话。试用 [演示](https://build.nvidia.com/nvidia/nemotron-voicechat)，并申请 [early access](https://developer.nvidia.com/nemotron-voicechat-early-access).
|
||
- 2026-03：[Nemotron-Speech-Streaming v2603](https://huggingface.co/nvidia/nemotron-speech-streaming-en-0.6b) 已
|
||
更新。其在更大、更多样的语料上训练，各延迟模式下的 WER 均有所降低。
|
||
试用 [演示](https://huggingface.co/spaces/nvidia/nemotron-speech-streaming-en-0.6b)，并查看
|
||
[NIM](https://build.nvidia.com/nvidia/nemotron-asr-streaming).
|
||
- 2026-03：[MagpieTTS v2602](https://huggingface.co/nvidia/magpie_tts_multilingual_357m) 已发布，支持
|
||
9 种语言（En、Es、De、Fr、Vi、It、Zh、Hi、Ja）。试用
|
||
[演示](https://huggingface.co/nvidia/magpie_tts_multilingual_357m)，并查看
|
||
[NIM](https://build.nvidia.com/nvidia/magpie-tts-multilingual).
|
||
- 2026-01：Nemotron-Speech-Streaming 已发布：单一检查点即可让用户在延迟-精度 Pareto 曲线上选择最优点！
|
||
- 2026-01：MagpieTTS 已发布。
|
||
- 2026：本仓库已转向聚焦音频、语音与多模态 LLM。如需支持更多模态的最后一个 NeMo 版本，请参阅 [v2.7.0](https://github.com/NVIDIA-NeMo/NeMo/releases/tag/v2.7.0)
|
||
- 2025-08：[Parakeet V3](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3) 与
|
||
[Canary V2](https://huggingface.co/nvidia/canary-1b-v2) 已发布，支持 25 种欧洲语言的语音识别与翻译。
|
||
- 2025-06：[Canary-Qwen-2.5B](https://huggingface.co/nvidia/canary-qwen-2.5b) 已发布，在 English Open ASR Leaderboard 上创下
|
||
5.63% WER 纪录。
|
||
|
||
## 简介
|
||
|
||
NVIDIA NeMo Speech 面向从事语音模型（包括自动语音识别（Automatic Speech Recognition，ASR）、文本转语音（Text to Speech，TTS）和 Speech LLM）研究的科研人员与 PyTorch 开发者。它旨在帮助您通过复用现有代码与预训练模型检查点，高效创建、定制并部署新的 AI 模型。
|
||
|
||
技术文档请参阅
|
||
[NeMo Framework User Guide](https://docs.nvidia.com/nemo/speech/nightly/).
|
||
|
||
## 环境要求
|
||
|
||
NeMo Speech 可与**您自选的 Python、PyTorch 和 CUDA 版本**配合使用：
|
||
|
||
- Python 3.12 或更高版本
|
||
- PyTorch 2.7 或更高版本（CPU、CUDA 等 —— 由您选择）
|
||
- NVIDIA GPU + CUDA（训练必需；推理推荐）
|
||
|
||
若您已有的 Python/PyTorch/CUDA 环境满足上述最低要求，NeMo Speech 可**在不替换现有环境的前提下**安装于其之上，从而保留您当前的 PyTorch 构建（安装选项见下文）。`uv.lock` 中固定的版本，以及官方容器中提供的版本 —— Python 3.13、PyTorch 2.12、CUDA 12.6/13.2 —— 只是我们积极测试与支持的组合。它们便于开箱即用与可复现部署，但**并非**硬性要求。
|
||
|
||
自 [Pytorch 2.6](https://docs.pytorch.org/docs/stable/notes/serialization.html#torch-load-with-weights-only-true),
|
||
`torch.load` 默认使用 `weights_only=True`。部分模型检查点可能需要使用 `weights_only=False`。
|
||
此时，可在运行使用 `torch.load` 的代码前设置环境变量 `TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1`。
|
||
但这应仅用于可信文件。从不信任来源加载不仅含权重的内容，存在任意代码执行风险。
|
||
|
||
## 开发者文档
|
||
|
||
| 版本 | 状态 | 描述 |
|
||
| ------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ |
|
||
| 最新 | [](https://docs.nvidia.com/deeplearning/nemo/user-guide/docs/en/main/) | [最新（即 main）分支的文档。](https://docs.nvidia.com/nemo/speech/nightly/) |
|
||
| 稳定 | [](https://docs.nvidia.com/deeplearning/nemo/user-guide/docs/en/stable/) | 稳定版（即最近发布版本）的文档 —— 待补充 |
|
||
|
||
## 安装 NeMo Speech
|
||
|
||
推荐通过 [uv](https://docs.astral.sh/uv/), 从源码安装 NeMo Speech，以复现我们基于已提交的 `uv.lock` 积极测试的环境栈。若您需要不同的 Python/PyTorch/CUDA 版本，也可通过 pip 在现有环境上安装 NeMo —— 见下方 [pip 备选方案](#from-pypi-with-pip-fallback--bring-your-own-versions)。
|
||
|
||
### 使用 uv 从源码安装（推荐）
|
||
|
||
```bash
|
||
git clone https://github.com/NVIDIA-NeMo/NeMo.git
|
||
cd NeMo
|
||
uv sync --extra all --extra cu13 # CUDA 13.x (recommended) — use --extra cu12 for CUDA 12.x
|
||
```
|
||
|
||
这会将我们支持的环境栈（Python 3.13、PyTorch 2.12、CUDA 13.2）安装到 `.venv/`，并以可编辑模式安装 NeMo。添加 `--group test` 以安装测试套件，或添加 `--group docs` 以构建文档；通过 `uv run <cmd>` 运行工具，或使用 `source .venv/bin/activate` 激活环境。在 Linux 上，`cu12` 与 `cu13` 互斥 —— 请只传入其中一个（默认是 `cu13`）。若要使用**与容器完全一致**的基线，请添加 `--locked --python 3.13`（Dockerfile 与 CI 使用的路径）。
|
||
|
||
> **SpeechLM2 / Automodel：**Automodel 后端**无需**任何编译依赖即可运行。它*可选地*受益于专用加速后端（Transformer Engine、FlashAttention、Mamba、grouped-GEMM/MoE、DeepEP）以获得更好性能——这些源码构建的内核来自 `compiled`（Hopper/Blackwell）或 `compiled-a100`（A100）附加组件，由 `docker/Dockerfile`（`GPU_TARGET=h100plus` / `a100`）构建。完整列表与构建细节请参阅[安装指南](https://docs.nvidia.com/nemo/speech/nightly/) for the full list and build details.
|
||
|
||
### Docker（开箱即用，我们支持的栈）
|
||
|
||
> **NGC 容器：**_即将推出——预构建 NeMo Speech 容器镜像的拉取命令将在此发布。_
|
||
|
||
从源码构建容器（默认 CUDA 13 / H100+）：
|
||
|
||
```bash
|
||
git clone https://github.com/NVIDIA-NeMo/NeMo.git
|
||
cd NeMo
|
||
docker buildx build -f docker/Dockerfile -t nemo-speech . # CUDA 13 / H100+ (default)
|
||
docker run --rm -it --gpus all -v "$PWD:/workspace" nemo-speech bash
|
||
```
|
||
|
||
对于 A100，请设置 `GPU_TARGET=a100`——A100 同时支持 **CUDA 12 与 CUDA 13**（推荐使用默认基础镜像 CUDA 13；CUDA 12 基础镜像仅为便利选项）。所有构建参数（`BASE_IMAGE`、`GPU_TARGET`）请参阅 [`docker/Dockerfile`](docker/Dockerfile) 文件头部。
|
||
|
||
### 通过 pip 从 PyPI 安装（备选方案——自带版本）
|
||
|
||
想使用自己的 Python/PyTorch/CUDA？请先安装 PyTorch（针对你的 CPU/CUDA 等目标，任意 ≥ 2.7 的版本——参见 [PyTorch 安装矩阵](https://pytorch.org/get-started/locally/)), then add NeMo and it **keeps your build**. `uv pip`（uv 的快速、与 pip 兼容的安装器）的使用方式与 `pip` 相同：
|
||
|
||
```bash
|
||
uv pip install 'nemo-toolkit[asr,tts]' # or plain: pip install 'nemo-toolkit[asr,tts]'
|
||
```
|
||
|
||
> ⚠️ 自带技术栈时**请勿**使用 `uv sync --locked`——它会应用 `uv.lock`，并将你的 Python/PyTorch/CUDA 替换为受支持的基线版本。此处请使用 `uv pip`/`pip`；`uv sync --locked` 留作复现我们的技术栈。
|
||
|
||
若要改为拉取*我们*固定的 PyTorch 构建，请添加 CUDA 额外依赖及匹配的 wheel 索引（pip/uv pip 不会读取 uv 的项目索引配置，因此需要 `--extra-index-url`）：
|
||
|
||
```bash
|
||
pip install 'nemo-toolkit[asr,tts,cu13]' --extra-index-url https://download.pytorch.org/whl/cu132 # CUDA 13.x
|
||
pip install 'nemo-toolkit[asr,tts,cu12]' --extra-index-url https://download.pytorch.org/whl/cu126 # CUDA 12.x
|
||
```
|
||
|
||
## 为 NeMo 做贡献
|
||
|
||
我们欢迎社区贡献！流程请参阅
|
||
[CONTRIBUTING.md](https://github.com/NVIDIA-NeMo/NeMo/blob/main/CONTRIBUTING.md) for the process.
|
||
|
||
## 许可证
|
||
|
||
NeMo 采用 [Apache License 2.0](https://github.com/NVIDIA/NeMo?tab=Apache-2.0-1-ov-file). 许可。
|