Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

办公时间（Office Hours）

DeepSpeed 每月最后一个星期二 12:00（America/New_York 时区）举办定期办公时间，讨论开发计划、功能等。该会议向公众开放，任何人都可以参加并提问。 会议在 Zoom 上举办，可在此. 加入。

最新动态

• [2026/05] 在 DeepSpeed 中使用 Muon Optimizer

• [2026/05] ZeRO-3 的 System DMA (SDMA)：在 AMD GPU 上将集合通信卸载出计算单元以实现更好的重叠

• [2026/03] DeepSpeed 团队在 ASPLOS 2026 上进行了题为 "利用 DeepSpeed 构建高效大规模模型系统：从开源基础到新兴研究" 的教程

• [2026/03] 我们的 SuperOffload 工作获得 ASPLOS 2026 最佳论文奖荣誉提名

• [2025/12] DeepSpeed Core API 更新：PyTorch 风格的反向传播与低精度主状态

• [2025/11] DeepSpeed ZeRO++ 为 LinkedIn 推荐系统的大规模 LLM 蒸馏训练提供动力

• [2025/10] 我们在 Anyscale 主办了 Ray x DeepSpeed Meetup。我们分享了有关 SuperOffload、ZenFlow、Muon Optimizer 支持、Arctic Long Sequence Training 和 DeepCompile 的最新工作。请在此. 查看聚会幻灯片

• [2025/10] SuperOffload：释放超级芯片上大规模 LLM 训练的力量

• [2025/10] 结合 DeepSpeed CPU 核心绑定的 ZenFlow 与 ZeRO 卸载性能研究

• [2025/08] ZenFlow：用于 LLM 训练的无停顿卸载引擎

• [2025/06] DeepSpeed 的 Arctic Long Sequence Training (ALST)：面向数百万 token 序列的可扩展高效训练

• [2025/06] DeepNVMe：面向深度学习应用的经济实惠 I/O 扩展

更多动态

• [2025/04] DeepCompile：为分布式训练解锁编译器优化
• [2025/03] DeepSpeed AutoTP：Hugging Face 模型的自动张量并行训练
• [2024/12] Ulysses-Offload：让长上下文 LLM 训练平民化

---

深度学习训练的极致速度与规模

DeepSpeed 使世界上（截至本文撰写时）最强大的语言模型成为可能，例如 MT-530B 和 BLOOM.。DeepSpeed 汇集了多种系统创新,，使大规模深度学习（DL）训练变得高效且实用，大幅提升了易用性，并在可实现的规模方面重新定义了 DL 训练格局。这些创新包括 ZeRO、ZeRO-Infinity、3D-Parallelism、Ulysses Sequence Parallelism、DeepSpeed-MoE 等。

---

DeepSpeed 采用情况

DeepSpeed 是微软 AI at Scale 计划的重要组成部分，旨在大规模赋能下一代 AI 能力，更多信息可在此. 查看。

DeepSpeed 已用于训练多种不同的大规模模型，以下是我们所了解的若干示例（如需纳入您的模型，请提交 PR）：

• Megatron-Turing NLG (530B)
• Jurassic-1 (178B)
• BLOOM (176B)
• GLM (130B)
• xTrimoPGLM (100B)
• YaLM (100B)
• GPT-NeoX (20B)
• AlexaTM (20B)
• Turing NLG (17B)
• METRO-LM (5.4B)

DeepSpeed 已与多种流行的开源深度学习框架集成，例如：

	文档
	DeepSpeed 与 Transformers
	DeepSpeed 与 Accelerate
	DeepSpeed 与 Lightning
	DeepSpeed 与 MosaicML
	DeepSpeed 与 Determined
	DeepSpeed 与 MMEngine

---

构建流水线状态

描述	状态
NVIDIA
AMD
CPU
Intel Gaudi
Intel XPU
Integrations
Misc
Huawei Ascend NPU

安装

通过 pip 上手 DeepSpeed 是最快的方式，这将安装 DeepSpeed 的最新发布版本，该版本不绑定特定的 PyTorch 或 CUDA 版本。DeepSpeed 包含多个 C++/CUDA 扩展，我们通常称之为 "ops"。默认情况下，所有这些扩展/ops 都会使用 torch 的 JIT C++ 扩展加载器（依赖 ninja） 在运行时进行即时（JIT）编译并动态链接。

系统要求

• 安装 DeepSpeed 之前必须先安装 PyTorch。
• 为获得完整功能支持，我们建议使用 >= 2.0 的 PyTorch 版本，理想情况下使用最新的 PyTorch 稳定版。
• 需要 CUDA 或 ROCm 编译器（例如用于编译 C++/CUDA/HIP 扩展的 nvcc 或 hipcc）。
• 下方列出了我们开发和测试所针对的特定 GPU；这并不意味着不属于此类别的 GPU 无法工作，只是 DeepSpeed 在以下硬件上经过最充分的测试：
  • NVIDIA：Pascal、Volta、Ampere 和 Hopper 架构
  • AMD：MI100 和 MI200

贡献的硬件支持

• DeepSpeed 现已支持多种硬件加速器。

贡献者	硬件	加速器名称	贡献者已验证	上游已验证
Huawei	Huawei Ascend NPU	npu	Yes	No
Intel	Intel(R) Gaudi(R) 2 AI accelerator	hpu	Yes	Yes
Intel	Intel(R) Xeon(R) Processors	cpu	Yes	Yes
Intel	Intel(R) Data Center GPU Max series	xpu	Yes	Yes
Tecorigin	Scalable Data Analytics Accelerator	sdaa	Yes	No

PyPI

我们会定期向 PyPI 推送发布版本，并建议在大多数情况下从 PyPI 安装。

pip install deepspeed

安装完成后，你可以通过 DeepSpeed 环境报告验证安装情况，并查看你的机器兼容哪些扩展/ops。

ds_report

如果你希望预安装任何 DeepSpeed 扩展/ops（而不是 JIT 编译），或通过 PyPI 安装预编译的 ops，请参阅我们的高级安装说明.

Windows

DeepSpeed 的许多功能在 Windows 上均支持训练和推理。你可以在此处. 的原始博客文章中了解更多信息。当前不支持的功能包括异步 I/O（AIO）和 GDS（不支持 Windows）。

1. 安装 PyTorch，例如 pytorch 2.3+cu121。
2. 安装 Visual C++ 构建工具，例如 VS2022 C++ x64/x86 build tools。
3. 以管理员权限启动 Cmd 控制台，用于创建所需的符号链接文件夹，并确保 MSVC 工具已添加到你的 PATH，或以管理员权限启动 Visual Studio 2022 的 Developer Command Prompt。
4. 运行 build_win.bat，在 dist 文件夹中构建 wheel。

延伸阅读

所有 DeepSpeed 文档、教程和博客均可在我们的网站上找到：deepspeed.ai

	描述
Getting Started	DeepSpeed 入门
DeepSpeed JSON Configuration	配置 DeepSpeed
API Documentation	自动生成的 DeepSpeed API 文档
Tutorials	教程
Blogs	博客

CI 资金赞助

作为一个开源项目，我们依赖他人为我们提供 CI 硬件资源。目前 Modal 慷慨地通过为我们提供硬件资金来支持我们的 GPU CI 运行。Modal 是一个用于推理、微调、批处理作业等场景的 AI 基础设施平台。立即在 https://modal.com. 开始使用，每月可获得 $30 的免费额度。我们得到了 Modal 团队的极大支持，并一定会向你的企业推荐他们。

贡献

DeepSpeed 欢迎你的贡献！有关格式化、测试等更多详情，请参阅我们的 contributing 指南。
非常感谢我们所有出色的贡献者！

开发者来源证书

本项目欢迎贡献和建议。大多数贡献要求你同意开发者来源证书 DCO 声明你同意在 https://developercertificate.org 公布的条款，适用于该特定贡献。

DCO（Developer Certificate of Origin，开发者原创证书）按提交（per-commit）生效，因此每个提交都需要签署确认。你可以在提交时添加 -s 标志来完成签署。也可以在 PR 中点击 DCO enforcement 检查来完成 DCO 强制执行签署。

行为准则

本项目已采纳 Microsoft Open Source Code of Conduct（Microsoft 开源行为准则）. 更多信息请参阅 Code of Conduct FAQ（行为准则常见问题） 或通过 opencode@microsoft.com 联系我们提出其他问题或意见。

发表论文

1. Samyam Rajbhandari, Jeff Rasley, Olatunji Ruwase, Yuxiong He. (2019) ZeRO: memory optimizations toward training trillion parameter models. arXiv:1910.02054 以及 In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC '20).

2. Jeff Rasley, Samyam Rajbhandari, Olatunji Ruwase, and Yuxiong He. (2020) DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '20, Tutorial).

3. Minjia Zhang, Yuxiong He. (2020) Accelerating Training of Transformer-Based Language Models with Progressive Layer Dropping. arXiv:2010.13369 以及 NeurIPS 2020.

4. Jie Ren, Samyam Rajbhandari, Reza Yazdani Aminabadi, Olatunji Ruwase, Shuangyan Yang, Minjia Zhang, Dong Li, Yuxiong He. (2021) ZeRO-Offload: Democratizing Billion-Scale Model Training. arXiv:2101.06840 以及 USENIX ATC 2021. [paper] [slides] [blog]

5. Hanlin Tang, Shaoduo Gan, Ammar Ahmad Awan, Samyam Rajbhandari, Conglong Li, Xiangru Lian, Ji Liu, Ce Zhang, Yuxiong He. (2021) 1-bit Adam: Communication Efficient Large-Scale Training with Adam's Convergence Speed. arXiv:2102.02888 以及 ICML 2021.

6. Samyam Rajbhandari, Olatunji Ruwase, Jeff Rasley, Shaden Smith, Yuxiong He. (2021) ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning. arXiv:2104.07857 以及 SC 2021. [paper] [slides] [blog]

7. Conglong Li, Ammar Ahmad Awan, Hanlin Tang, Samyam Rajbhandari, Yuxiong He. (2021) 1-bit LAMB: Communication Efficient Large-Scale Large-Batch Training with LAMB's Convergence Speed. arXiv:2104.06069 以及 HiPC 2022.

8. Conglong Li, Minjia Zhang, Yuxiong He. (2021) The Stability-Efficiency Dilemma: Investigating Sequence Length Warmup for Training GPT Models. arXiv:2108.06084 以及 NeurIPS 2022.

9. Yucheng Lu, Conglong Li, Minjia Zhang, Christopher De Sa, Yuxiong He. (2022) Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam. arXiv:2202.06009.

10. Samyam Rajbhandari, Conglong Li, Zhewei Yao, Minjia Zhang, Reza Yazdani Aminabadi, Ammar Ahmad Awan, Jeff Rasley, Yuxiong He. (2022) DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale arXiv:2201.05596 以及 ICML 2022. [pdf] [slides] [blog]

11. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, Bryan Catanzaro. (2022) Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model arXiv:2201.11990.

12. Xiaoxia Wu, Zhewei Yao, Minjia Zhang, Conglong Li, Yuxiong He. (2022) Extreme Compression for Pre-trained Transformers Made Simple and Efficient. arXiv:2206.01859 以及 NeurIPS 2022.

13. Zhewei Yao, Reza Yazdani Aminabadi, Minjia Zhang, Xiaoxia Wu, Conglong Li, Yuxiong He. (2022) ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers. arXiv:2206.01861 以及 NeurIPS 2022 [slides] [blog]

14. Reza Yazdani Aminabadi, Samyam Rajbhandari, Minjia Zhang, Ammar Ahmad Awan, Cheng Li, Du Li, Elton Zheng, Jeff Rasley, Shaden Smith, Olatunji Ruwase, Yuxiong He. (2022) DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale. arXiv:2207.00032 以及 SC 2022. [paper] [slides] [blog]

15. Zhewei Yao, Xiaoxia Wu, Conglong Li, Connor Holmes, Minjia Zhang, Cheng Li, Yuxiong He. (2022) Random-LTD: Random and Layerwise Token Dropping Brings Efficient Training for Large-scale Transformers. arXiv:2211.11586.

16. Conglong Li, Zhewei Yao, Xiaoxia Wu, Minjia Zhang, Yuxiong He. (2022) DeepSpeed Data Efficiency: Improving Deep Learning Model Quality and Training Efficiency via Efficient Data Sampling and Routing. arXiv:2212.03597 ENLSP2023 Workshop at NeurIPS2023

17. Xiaoxia Wu, Cheng Li, Reza Yazdani Aminabadi, Zhewei Yao, Yuxiong He. (2023) Understanding INT4 Quantization for Transformer Models: Latency Speedup, Composability, and Failure Cases. arXiv:2301.12017 以及 ICML2023.

18. Syed Zawad, Cheng Li, Zhewei Yao, Elton Zheng, Yuxiong He, Feng Yan. (2023) DySR: Adaptive Super-Resolution via Algorithm and System Co-design. ICLR:2023.

19. Sheng Shen, Zhewei Yao, Chunyuan Li, Trevor Darrell, Kurt Keutzer, Yuxiong He. (2023) Scaling Vision-Language Models with Sparse Mixture of Experts. arXiv:2303.07226 以及 Finding at EMNLP2023.

20. Quentin Anthony, Ammar Ahmad Awan, Jeff Rasley, Yuxiong He, Aamir Shafi, Mustafa Abduljabbar, Hari Subramoni, Dhabaleswar Panda. (2023) MCR-DL: Mix-and-Match Communication Runtime for Deep Learning arXiv:2303.08374 并将发表于 IPDPS 2023。

21. Siddharth Singh, Olatunji Ruwase, Ammar Ahmad Awan, Samyam Rajbhandari, Yuxiong He, Abhinav Bhatele. (2023) A Hybrid Tensor-Expert-Data Parallelism Approach to Optimize Mixture-of-Experts Training arXiv:2303.06318 以及 ICS 2023.

22. Guanhua Wang, Heyang Qin, Sam Ade Jacobs, Xiaoxia Wu, Connor Holmes, Zhewei Yao, Samyam Rajbhandari, Olatunji Ruwase, Feng Yan, Lei Yang, Yuxiong He. (2023) ZeRO++: Extremely Efficient Collective Communication for Giant Model Training arXiv:2306.10209 以及 ML for Sys Workshop at NeurIPS2023 [blog]

23. Zhewei Yao, Xiaoxia Wu, Cheng Li, Stephen Youn, Yuxiong He. (2023) ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation arXiv:2303.08302 以及 ENLSP2023 Workshop at NeurIPS2023 [slides]

24. Pareesa Ameneh Golnari, Zhewei Yao, Yuxiong He. (2023) Selective Guidance: Are All the Denoising Steps of Guided Diffusion Important? arXiv:2305.09847

25. Zhewei Yao, Reza Yazdani Aminabadi, Olatunji Ruwase, Samyam Rajbhandari, Xiaoxia Wu, Ammar Ahmad Awan, Jeff Rasley, Minjia Zhang, Conglong Li, Connor Holmes, Zhongzhu Zhou, Michael Wyatt, Molly Smith, Lev Kurilenko, Heyang Qin, Masahiro Tanaka, Shuai Che, Shuaiwen Leon Song, Yuxiong He. (2023) DeepSpeed-Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales arXiv:2308.01320.

26. Xiaoxia Wu, Zhewei Yao, Yuxiong He. (2023) ZeroQuant-FP: A Leap Forward in LLMs Post-Training W4A8 Quantization Using Floating-Point Formats arXiv:2307.09782 以及 ENLSP2023 Workshop at NeurIPS2023 [slides]

27. Zhewei Yao, Xiaoxia Wu, Conglong Li, Minjia Zhang, Heyang Qin, Olatunji Ruwase, Ammar Ahmad Awan, Samyam Rajbhandari, Yuxiong He. (2023) DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention arXiv:2309.14327

28. Shuaiwen Leon Song, Bonnie Kruft, Minjia Zhang, Conglong Li, Shiyang Chen, Chengming Zhang, Masahiro Tanaka, Xiaoxia Wu, Jeff Rasley, Ammar Ahmad Awan, Connor Holmes, Martin Cai, Adam Ghanem, Zhongzhu Zhou, Yuxiong He, et al. (2023) DeepSpeed4Science Initiative: Enabling Large-Scale Scientific Discovery through Sophisticated AI System Technologies arXiv:2310.04610 [blog]

29. Zhewei Yao, Reza Yazdani Aminabadi, Stephen Youn, Xiaoxia Wu, Elton Zheng, Yuxiong He. (2023) ZeroQuant-HERO: Hardware-Enhanced Robust Optimized Post-Training Quantization Framework for W8A8 Transformers arXiv:2310.17723

30. Xiaoxia Wu, Haojun Xia, Stephen Youn, Zhen Zheng, Shiyang Chen, Arash Bakhtiari, Michael Wyatt, Reza Yazdani Aminabadi, Yuxiong He, Olatunji Ruwase, Leon Song, Zhewei Yao (2023) ZeroQuant(4+2)：以新的 FP6 为中心策略重新定义 LLM 量化，面向多样化生成任务 arXiv:2312.08583

31. Haojun Xia, Zhen Zheng, Xiaoxia Wu, Shiyang Chen, Zhewei Yao, Stephen Youn, Arash Bakhtiari, Michael Wyatt, Donglin Zhuang, Zhongzhu Zhou, Olatunji Ruwase, Yuxiong He, Shuaiwen Leon Song. (2024) FP6-LLM：通过以 FP6 为中心的算法-系统协同设计高效服务大语言模型 arXiv:2401.14112

32. Sam Ade Jacobs, Masahiro Tanaka, Chengming Zhang, Minjia Zhang, Reza Yazdani Aminadabi, Shuaiwen Leon Song, Samyam Rajbhandari, Yuxiong He. (2024) 面向极长序列 Transformer 模型训练的系统优化

33. Xinyu Lian, Sam Ade Jacobs, Lev Kurilenko, Masahiro Tanaka, Stas Bekman, Olatunji Ruwase, Minjia Zhang. (2024) Universal Checkpointing：面向大规模分布式训练的高效灵活检查点机制 arXiv:2406.18820

34. Stas Bekman, Samyam Rajbhandari, Michael Wyatt, Jeff Rasley, Tunji Ruwase, Zhewei Yao, Aurick Qiao, Yuxiong He. (2025) Arctic Long Sequence Training：面向数百万 Token 序列的可扩展高效训练 arXiv:2506.13996

35. Tingfeng Lan, Yusen Wu, Bin Ma, Zhaoyuan Su, Rui Yang, Tekin Bicer, Masahiro Tanaka, Olatunji Ruwase, Dong Li, Yue Cheng. (2025) ZenFlow：通过异步更新实现无停顿卸载训练 arXiv:2505.12242

36. Kayhan Behdin, Ata Fatahibaarzi, Qingquan Song, Yun Dai, Aman Gupta, Zhipeng Wang, Hejian Sang, Shao Tang, Gregory Dexter, Sirou Zhu, Siyu Zhu, Tejas Dharamsi, Vignesh Kothapalli, Zhoutong Fu, Yihan Cao, Pin-Lun Hsu, Fedor Borisyuk, Natesh S. Pillai, Luke Simon, Rahul Mazumder.(2025) Scaling Down, Serving Fast：为推荐系统压缩并部署高效 LLM EMNLP 2025

37. Xinyu Lian, Masahiro Tanaka, Olatunji Ruwase, Minjia Zhang. (2026) SuperOffload：在 Superchip 上释放大规模 LLM 训练能力 arxiv, ASPLOS 2026

视频

1. DeepSpeed KDD 2020 Tutorial
   1. 概览
   2. ZeRO + 大模型训练
   3. 17B T-NLG 演示
   4. 最快 BERT 训练 + RScan 调优
   5. DeepSpeed 动手深入详解：part 1, part 2, part 3
   6. 常见问题
2. Microsoft Research Webinar
   • 注册免费，所有视频均可按需观看。
   • ZeRO 与最快 BERT：在 DeepSpeed 中提升深度学习训练的规模与速度.
3. DeepSpeed on AzureML
4. 使用 DeepSpeed 进行大模型训练与推理 // Samyam Rajbhandari // LLMs in Prod Conference [slides]
5. 社区教程
   • DeepSpeed：扩展至巨型模型的全部技巧（Mark Saroufim）
   • Turing-NLG、DeepSpeed 与 ZeRO 优化器（Yannic Kilcher）
   • 机器学习模型扩展终极指南（The AI Epiphany）