> [!NOTE] > 本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。 > [English](./README.en.md) · [原始项目](https://github.com/NVIDIA-NeMo/Speech) · [上游 README](https://github.com/NVIDIA-NeMo/Speech/blob/HEAD/README.md) > 原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。 [](http://www.repostatus.org/#active) [](https://docs.nvidia.com/nemo/speech/nightly/) [](https://github.com/nvidia/nemo/actions/workflows/codeql.yml) [](https://github.com/NVIDIA/NeMo/blob/master/LICENSE) [](https://badge.fury.io/py/nemo-toolkit) [](https://badge.fury.io/py/nemo-toolkit) [](https://pepy.tech/project/nemo-toolkit) [](https://github.com/psf/black) # **NVIDIA NeMo Speech** 查看我们的 [HuggingFace🤗 集合](https://huggingface.co/collections/nvidia/nemotron-speech)，获取最新的开放权重检查点（checkpoints）和演示！ ## 更新 > NeMo 仓库拆分后，NeMo Speech 的首个发布计划于 2026 年 6 月推出，届时本仓库将进行转型。 > 如需最新稳定发布版本，请使用 [26.02 NGC 容器](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo?version=26.02). - 2026-06：[Nemotron-3.5-ASR-Streaming-0.6B](https://huggingface.co/nvidia/nemotron-3.5-asr-streaming-0.6b) 已发布，支持 40 种语言，可控延迟 80ms-1s，在 1xH100 上可支持 240-2400 路并发流。基于 cache-aware Fastconformer 架构构建。 - 2026-04：[Parakeet-unified-en-0.6b](https://huggingface.co/nvidia/parakeet-unified-en-0.6b) 已发布，单一模型即可为英语提供高质量离线与流式（最低延迟 160ms）推理，并支持标点与大小写。 - 2026-03：[Nemotron 3 VoiceChat](https://build.nvidia.com/nvidia/nemotron-voicechat/modelcard) 现已以 Early Access 形式发布。基于 Nemotron Nano v2 LLM 骨干网络，搭配 Nemotron speech 与 TTS 解码器，VoiceChat 可提供全双工、自然、可打断的低延迟对话。试用 [演示](https://build.nvidia.com/nvidia/nemotron-voicechat)，并申请 [early access](https://developer.nvidia.com/nemotron-voicechat-early-access). - 2026-03：[Nemotron-Speech-Streaming v2603](https://huggingface.co/nvidia/nemotron-speech-streaming-en-0.6b) 已 更新。其在更大、更多样的语料上训练，各延迟模式下的 WER 均有所降低。 试用 [演示](https://huggingface.co/spaces/nvidia/nemotron-speech-streaming-en-0.6b)，并查看 [NIM](https://build.nvidia.com/nvidia/nemotron-asr-streaming). - 2026-03：[MagpieTTS v2602](https://huggingface.co/nvidia/magpie_tts_multilingual_357m) 已发布，支持 9 种语言（En、Es、De、Fr、Vi、It、Zh、Hi、Ja）。试用 [演示](https://huggingface.co/nvidia/magpie_tts_multilingual_357m)，并查看 [NIM](https://build.nvidia.com/nvidia/magpie-tts-multilingual). - 2026-01：Nemotron-Speech-Streaming 已发布：单一检查点即可让用户在延迟-精度 Pareto 曲线上选择最优点！ - 2026-01：MagpieTTS 已发布。 - 2026：本仓库已转向聚焦音频、语音与多模态 LLM。如需支持更多模态的最后一个 NeMo 版本，请参阅 [v2.7.0](https://github.com/NVIDIA-NeMo/NeMo/releases/tag/v2.7.0) - 2025-08：[Parakeet V3](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3) 与 [Canary V2](https://huggingface.co/nvidia/canary-1b-v2) 已发布，支持 25 种欧洲语言的语音识别与翻译。 - 2025-06：[Canary-Qwen-2.5B](https://huggingface.co/nvidia/canary-qwen-2.5b) 已发布，在 English Open ASR Leaderboard 上创下 5.63% WER 纪录。 ## 简介 NVIDIA NeMo Speech 面向从事语音模型（包括自动语音识别（Automatic Speech Recognition，ASR）、文本转语音（Text to Speech，TTS）和 Speech LLM）研究的科研人员与 PyTorch 开发者。它旨在帮助您通过复用现有代码与预训练模型检查点，高效创建、定制并部署新的 AI 模型。 技术文档请参阅 [NeMo Framework User Guide](https://docs.nvidia.com/nemo/speech/nightly/). ## 环境要求 NeMo Speech 可与**您自选的 Python、PyTorch 和 CUDA 版本**配合使用： - Python 3.12 或更高版本 - PyTorch 2.7 或更高版本（CPU、CUDA 等 —— 由您选择） - NVIDIA GPU + CUDA（训练必需；推理推荐） 若您已有的 Python/PyTorch/CUDA 环境满足上述最低要求，NeMo Speech 可**在不替换现有环境的前提下**安装于其之上，从而保留您当前的 PyTorch 构建（安装选项见下文）。`uv.lock` 中固定的版本，以及官方容器中提供的版本 —— Python 3.13、PyTorch 2.12、CUDA 12.6/13.2 —— 只是我们积极测试与支持的组合。它们便于开箱即用与可复现部署，但**并非**硬性要求。 自 [Pytorch 2.6](https://docs.pytorch.org/docs/stable/notes/serialization.html#torch-load-with-weights-only-true), `torch.load` 默认使用 `weights_only=True`。部分模型检查点可能需要使用 `weights_only=False`。 此时，可在运行使用 `torch.load` 的代码前设置环境变量 `TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1`。 但这应仅用于可信文件。从不信任来源加载不仅含权重的内容，存在任意代码执行风险。 ## 开发者文档 | 版本 | 状态 | 描述 | | ------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ | | 最新 | [](https://docs.nvidia.com/deeplearning/nemo/user-guide/docs/en/main/) | [最新（即 main）分支的文档。](https://docs.nvidia.com/nemo/speech/nightly/) | | 稳定 | [](https://docs.nvidia.com/deeplearning/nemo/user-guide/docs/en/stable/) | 稳定版（即最近发布版本）的文档 —— 待补充 | ## 安装 NeMo Speech 推荐通过 [uv](https://docs.astral.sh/uv/), 从源码安装 NeMo Speech，以复现我们基于已提交的 `uv.lock` 积极测试的环境栈。若您需要不同的 Python/PyTorch/CUDA 版本，也可通过 pip 在现有环境上安装 NeMo —— 见下方 [pip 备选方案](#from-pypi-with-pip-fallback--bring-your-own-versions)。 ### 使用 uv 从源码安装（推荐） ```bash git clone https://github.com/NVIDIA-NeMo/NeMo.git cd NeMo uv sync --extra all --extra cu13 # CUDA 13.x (recommended) — use --extra cu12 for CUDA 12.x ``` 这会将我们支持的环境栈（Python 3.13、PyTorch 2.12、CUDA 13.2）安装到 `.venv/`，并以可编辑模式安装 NeMo。添加 `--group test` 以安装测试套件，或添加 `--group docs` 以构建文档；通过 `uv run ` 运行工具，或使用 `source .venv/bin/activate` 激活环境。在 Linux 上，`cu12` 与 `cu13` 互斥 —— 请只传入其中一个（默认是 `cu13`）。若要使用**与容器完全一致**的基线，请添加 `--locked --python 3.13`（Dockerfile 与 CI 使用的路径）。 > **SpeechLM2 / Automodel：**Automodel 后端**无需**任何编译依赖即可运行。它*可选地*受益于专用加速后端（Transformer Engine、FlashAttention、Mamba、grouped-GEMM/MoE、DeepEP）以获得更好性能——这些源码构建的内核来自 `compiled`（Hopper/Blackwell）或 `compiled-a100`（A100）附加组件，由 `docker/Dockerfile`（`GPU_TARGET=h100plus` / `a100`）构建。完整列表与构建细节请参阅[安装指南](https://docs.nvidia.com/nemo/speech/nightly/) for the full list and build details. ### Docker（开箱即用，我们支持的栈） > **NGC 容器：**_即将推出——预构建 NeMo Speech 容器镜像的拉取命令将在此发布。_ 从源码构建容器（默认 CUDA 13 / H100+）： ```bash git clone https://github.com/NVIDIA-NeMo/NeMo.git cd NeMo docker buildx build -f docker/Dockerfile -t nemo-speech . # CUDA 13 / H100+ (default) docker run --rm -it --gpus all -v "$PWD:/workspace" nemo-speech bash ``` 对于 A100，请设置 `GPU_TARGET=a100`——A100 同时支持 **CUDA 12 与 CUDA 13**（推荐使用默认基础镜像 CUDA 13；CUDA 12 基础镜像仅为便利选项）。所有构建参数（`BASE_IMAGE`、`GPU_TARGET`）请参阅 [`docker/Dockerfile`](docker/Dockerfile) 文件头部。 ### 通过 pip 从 PyPI 安装（备选方案——自带版本） 想使用自己的 Python/PyTorch/CUDA？请先安装 PyTorch（针对你的 CPU/CUDA 等目标，任意 ≥ 2.7 的版本——参见 [PyTorch 安装矩阵](https://pytorch.org/get-started/locally/)), then add NeMo and it **keeps your build**. `uv pip`（uv 的快速、与 pip 兼容的安装器）的使用方式与 `pip` 相同： ```bash uv pip install 'nemo-toolkit[asr,tts]' # or plain: pip install 'nemo-toolkit[asr,tts]' ``` > ⚠️ 自带技术栈时**请勿**使用 `uv sync --locked`——它会应用 `uv.lock`，并将你的 Python/PyTorch/CUDA 替换为受支持的基线版本。此处请使用 `uv pip`/`pip`；`uv sync --locked` 留作复现我们的技术栈。 若要改为拉取*我们*固定的 PyTorch 构建，请添加 CUDA 额外依赖及匹配的 wheel 索引（pip/uv pip 不会读取 uv 的项目索引配置，因此需要 `--extra-index-url`）： ```bash pip install 'nemo-toolkit[asr,tts,cu13]' --extra-index-url https://download.pytorch.org/whl/cu132 # CUDA 13.x pip install 'nemo-toolkit[asr,tts,cu12]' --extra-index-url https://download.pytorch.org/whl/cu126 # CUDA 12.x ``` ## 为 NeMo 做贡献 我们欢迎社区贡献！流程请参阅 [CONTRIBUTING.md](https://github.com/NVIDIA-NeMo/NeMo/blob/main/CONTRIBUTING.md) for the process. ## 许可证 NeMo 采用 [Apache License 2.0](https://github.com/NVIDIA/NeMo?tab=Apache-2.0-1-ov-file). 许可。