nvidia-nemo--speech/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

NVIDIA NeMo Speech

查看我们的 HuggingFace🤗 集合，获取最新的开放权重检查点（checkpoints）和演示！

更新

NeMo 仓库拆分后，NeMo Speech 的首个发布计划于 2026 年 6 月推出，届时本仓库将进行转型。 如需最新稳定发布版本，请使用 26.02 NGC 容器.

• 2026-06：Nemotron-3.5-ASR-Streaming-0.6B 已发布，支持 40 种语言，可控延迟 80ms-1s，在 1xH100 上可支持 240-2400 路并发流。基于 cache-aware Fastconformer 架构构建。
• 2026-04：Parakeet-unified-en-0.6b 已发布，单一模型即可为英语提供高质量离线与流式（最低延迟 160ms）推理，并支持标点与大小写。
• 2026-03：Nemotron 3 VoiceChat 现已以 Early Access 形式发布。基于 Nemotron Nano v2 LLM 骨干网络，搭配 Nemotron speech 与 TTS 解码器，VoiceChat 可提供全双工、自然、可打断的低延迟对话。试用 演示，并申请 early access.
• 2026-03：Nemotron-Speech-Streaming v2603 已 更新。其在更大、更多样的语料上训练，各延迟模式下的 WER 均有所降低。 试用 演示，并查看 NIM.
• 2026-03：MagpieTTS v2602 已发布，支持 9 种语言（En、Es、De、Fr、Vi、It、Zh、Hi、Ja）。试用 演示，并查看 NIM.
• 2026-01：Nemotron-Speech-Streaming 已发布：单一检查点即可让用户在延迟-精度 Pareto 曲线上选择最优点！
• 2026-01：MagpieTTS 已发布。
• 2026：本仓库已转向聚焦音频、语音与多模态 LLM。如需支持更多模态的最后一个 NeMo 版本，请参阅 v2.7.0
• 2025-08：Parakeet V3 与 Canary V2 已发布，支持 25 种欧洲语言的语音识别与翻译。
• 2025-06：Canary-Qwen-2.5B 已发布，在 English Open ASR Leaderboard 上创下 5.63% WER 纪录。

简介

NVIDIA NeMo Speech 面向从事语音模型（包括自动语音识别（Automatic Speech Recognition，ASR）、文本转语音（Text to Speech，TTS）和 Speech LLM）研究的科研人员与 PyTorch 开发者。它旨在帮助您通过复用现有代码与预训练模型检查点，高效创建、定制并部署新的 AI 模型。

技术文档请参阅 NeMo Framework User Guide.

环境要求

NeMo Speech 可与您自选的 Python、PyTorch 和 CUDA 版本配合使用：

• Python 3.12 或更高版本
• PyTorch 2.7 或更高版本（CPU、CUDA 等 —— 由您选择）
• NVIDIA GPU + CUDA（训练必需；推理推荐）

若您已有的 Python/PyTorch/CUDA 环境满足上述最低要求，NeMo Speech 可在不替换现有环境的前提下安装于其之上，从而保留您当前的 PyTorch 构建（安装选项见下文）。uv.lock 中固定的版本，以及官方容器中提供的版本 —— Python 3.13、PyTorch 2.12、CUDA 12.6/13.2 —— 只是我们积极测试与支持的组合。它们便于开箱即用与可复现部署，但并非硬性要求。

自 Pytorch 2.6, torch.load 默认使用 weights_only=True。部分模型检查点可能需要使用 weights_only=False。 此时，可在运行使用 torch.load 的代码前设置环境变量 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1。 但这应仅用于可信文件。从不信任来源加载不仅含权重的内容，存在任意代码执行风险。

开发者文档

版本	状态	描述
最新		最新（即 main）分支的文档。
稳定		稳定版（即最近发布版本）的文档 —— 待补充

安装 NeMo Speech

推荐通过 uv, 从源码安装 NeMo Speech，以复现我们基于已提交的 uv.lock 积极测试的环境栈。若您需要不同的 Python/PyTorch/CUDA 版本，也可通过 pip 在现有环境上安装 NeMo —— 见下方 pip 备选方案。

使用 uv 从源码安装（推荐）

git clone https://github.com/NVIDIA-NeMo/NeMo.git
cd NeMo
uv sync --extra all --extra cu13     # CUDA 13.x (recommended) — use --extra cu12 for CUDA 12.x

这会将我们支持的环境栈（Python 3.13、PyTorch 2.12、CUDA 13.2）安装到 .venv/，并以可编辑模式安装 NeMo。添加 --group test 以安装测试套件，或添加 --group docs 以构建文档；通过 uv run <cmd> 运行工具，或使用 source .venv/bin/activate 激活环境。在 Linux 上，cu12 与 cu13 互斥 —— 请只传入其中一个（默认是 cu13）。若要使用与容器完全一致的基线，请添加 --locked --python 3.13（Dockerfile 与 CI 使用的路径）。

SpeechLM2 / Automodel：Automodel 后端无需任何编译依赖即可运行。它可选地受益于专用加速后端（Transformer Engine、FlashAttention、Mamba、grouped-GEMM/MoE、DeepEP）以获得更好性能——这些源码构建的内核来自 compiled（Hopper/Blackwell）或 compiled-a100（A100）附加组件，由 docker/Dockerfile（GPU_TARGET=h100plus / a100）构建。完整列表与构建细节请参阅安装指南 for the full list and build details.

Docker（开箱即用，我们支持的栈）

NGC 容器：即将推出——预构建 NeMo Speech 容器镜像的拉取命令将在此发布。

从源码构建容器（默认 CUDA 13 / H100+）：

git clone https://github.com/NVIDIA-NeMo/NeMo.git
cd NeMo
docker buildx build -f docker/Dockerfile -t nemo-speech .          # CUDA 13 / H100+ (default)
docker run --rm -it --gpus all -v "$PWD:/workspace" nemo-speech bash

对于 A100，请设置 GPU_TARGET=a100——A100 同时支持 CUDA 12 与 CUDA 13（推荐使用默认基础镜像 CUDA 13；CUDA 12 基础镜像仅为便利选项）。所有构建参数（BASE_IMAGE、GPU_TARGET）请参阅 docker/Dockerfile 文件头部。

通过 pip 从 PyPI 安装（备选方案——自带版本）

想使用自己的 Python/PyTorch/CUDA？请先安装 PyTorch（针对你的 CPU/CUDA 等目标，任意 ≥ 2.7 的版本——参见 PyTorch 安装矩阵), then add NeMo and it keeps your build. uv pip（uv 的快速、与 pip 兼容的安装器）的使用方式与 pip 相同：

uv pip install 'nemo-toolkit[asr,tts]'   # or plain: pip install 'nemo-toolkit[asr,tts]'

⚠️ 自带技术栈时请勿使用 uv sync --locked——它会应用 uv.lock，并将你的 Python/PyTorch/CUDA 替换为受支持的基线版本。此处请使用 uv pip/pip；uv sync --locked 留作复现我们的技术栈。

若要改为拉取我们固定的 PyTorch 构建，请添加 CUDA 额外依赖及匹配的 wheel 索引（pip/uv pip 不会读取 uv 的项目索引配置，因此需要 --extra-index-url）：

pip install 'nemo-toolkit[asr,tts,cu13]' --extra-index-url https://download.pytorch.org/whl/cu132   # CUDA 13.x
pip install 'nemo-toolkit[asr,tts,cu12]' --extra-index-url https://download.pytorch.org/whl/cu126   # CUDA 12.x

为 NeMo 做贡献

我们欢迎社区贡献！流程请参阅 CONTRIBUTING.md for the process.

许可证

NeMo 采用 Apache License 2.0. 许可。