wehub-resource-sync
296f9921e4
12 KiB
Note
本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
博客 | 文档 | 路线图 | 加入 Slack | 每周开发会议 | 幻灯片
新闻
- [2026/06] 🔥 下一代推测解码（Speculative Decoding）：DFlash 与 Spec V2（博客).
- [2026/04] 🔥 DeepSeek-V4 首日上线：从 SGLang 与 Miles 实现快速推理到可验证强化学习（博客).
- [2026/06] SGLang 为最新开源模型提供首日（day-0）支持（Nemotron 3 Ultra, Nemotron 3 Super, Higgs Audio v3 TTS).
- [2026/02] 🔥 在 NVIDIA GB300 NVL72 上借助 SGLang 解锁 25 倍推理性能（博客).
- [2026/01] SGLang Diffusion 加速视频与图像生成（博客).
- [2025/12] SGLang 为最新开源模型提供首日（day-0）支持（MiMo-V2-Flash, Nemotron 3 Nano, Mistral Large 3, LLaDA 2.0 Diffusion LLM, MiniMax M2).
- [2025/10] SGLang 现可通过 SGLang-Jax 后端原生运行于 TPU（博客).
更多
-
[2025/09] 在 GB200 NVL72 上部署 DeepSeek，采用 PD 与大规模 EP（第二部分）：Prefill 提升 3.8 倍，Decode 吞吐量提升 4.8 倍（博客).
-
[2025/09] SGLang 首日支持带稀疏注意力（Sparse Attention）的 DeepSeek-V3.2（博客).
-
[2025/08] SGLang x AMD SF 线下聚会（8/22）：GPU 动手工作坊、AMD/xAI/SGLang 技术分享与社交交流（路线图, 大规模 EP, 亮点, AITER/MoRI, Wave).
-
[2025/11] SGLang Diffusion 加速视频与图像生成（博客).
-
[2025/10] PyTorch Conference 2025 SGLang 演讲（幻灯片).
-
[2025/10] SGLang x Nvidia SF 线下聚会（10/2）（回顾).
-
[2025/08] SGLang 为 OpenAI gpt-oss 模型提供首日（day-0）支持（说明)
-
[2025/06] SGLang 作为每日驱动数万亿 token 的高性能服务基础设施，荣获 a16z 第三批开源 AI 资助（a16z 博客).
-
[2025/05] 在 96 张 H100 GPU 上通过 PD 分离与大规模专家并行（Expert Parallelism）部署 DeepSeek（博客).
-
[2025/06] 在 GB200 NVL72 上部署 DeepSeek，采用 PD 与大规模 EP（第一部分）：Decode 吞吐量提升 2.7 倍（博客).
-
[2025/03] 在 AMD Instinct MI300X 上为 DeepSeek-R1 推理加速（AMD 博客)
-
[2025/03] SGLang 加入 PyTorch 生态：高效 LLM 服务引擎（PyTorch 博客)
-
[2025/02] 在 AMD Instinct™ MI300X GPU 上解锁 DeepSeek-R1 推理性能（AMD 博客)
-
[2025/01] SGLang 在 NVIDIA 与 AMD GPU 上为 DeepSeek V3/R1 模型提供首日支持，并包含 DeepSeek 专属优化。（说明, AMD 博客, 10+ 其他公司)
-
[2024/12] v0.4 发布：零开销批处理调度器、缓存感知负载均衡器、更快的结构化输出（博客).
-
[2024/10] 首届 SGLang 线上聚会（幻灯片).
-
[2024/09] v0.3 发布：DeepSeek MLA 快 7 倍、torch.compile 快 1.5 倍、多图/视频 LLaVA-OneVision（博客).
-
[2024/07] v0.2 发布：借助 SGLang Runtime 更快服务 Llama3（对比 TensorRT-LLM、vLLM）（博客).
-
[2024/02] SGLang 借助压缩有限状态机实现 JSON 解码快 3 倍（博客).
-
[2024/01] SGLang 借助 RadixAttention 实现最高 5 倍更快推理（博客).
-
[2024/01] SGLang 为官方 LLaVA v1.6 发布演示提供推理服务（用法).
简介
SGLang 是一个面向大语言模型（LLM）与多模态模型的高性能服务框架。 它旨在在从单 GPU 到大型分布式集群的广泛部署场景中，提供低延迟、高吞吐量的推理能力。 其核心特性包括：
- 快速运行时（Fast Runtime）：通过 RadixAttention 实现前缀缓存（prefix caching）、零开销 CPU 调度器、prefill-decode 分离（prefill-decode disaggregation）、推测解码（speculative decoding）、连续批处理（continuous batching）、分页注意力（paged attention）、张量/流水线/专家/数据并行（tensor/pipeline/expert/data parallelism）、结构化输出（structured outputs）、分块 prefill（chunked prefill）、量化（FP4/FP8/INT4/AWQ/GPTQ）以及多 LoRA 批处理，提供高效服务。
- 广泛的模型支持（Broad Model Support）：支持多种语言模型（Llama、Qwen、DeepSeek、Kimi、GLM、GPT、Gemma、Mistral 等）、嵌入模型（e5-mistral、gte、mcdse）、奖励模型（Skywork）以及扩散模型（WAN、Qwen-Image），并易于扩展以接入新模型。兼容大多数 Hugging Face 模型与 OpenAI API。
- 广泛的硬件支持（Extensive Hardware Support）：可运行于 NVIDIA GPU（GB200/B300/H100/A100/Spark/5090）、AMD GPU（MI355/MI300）、Intel Xeon CPU、Google TPU、Ascend NPU 等。
- 活跃的社区（Active Community）：SGLang 是开源项目，拥有活跃社区与广泛的行业采用，全球范围内驱动超过 400,000 张 GPU。
- 强化学习与后训练骨干（RL & Post-Training Backbone）：SGLang 是经实战验证的 rollout 后端，已用于训练众多前沿模型，具备原生 RL 集成，并被知名后训练框架广泛采用，例如 AReaL, Miles, slime, Tunix, verl 等。
入门指南
基准测试与性能
详见发布博客：v0.2 博客, v0.3 博客, v0.4 博客, 大规模专家并行（Large-scale expert parallelism）, GB200 机架级并行（GB200 rack-scale parallelism）, GB300 长上下文（GB300 long context）.
采用与赞助
SGLang 已大规模部署，每天在生产环境中生成数万亿 token。它受到众多领先企业与机构的信赖与采用，包括 xAI、AMD、NVIDIA、Intel、LinkedIn、Cursor、Oracle Cloud、Google Cloud、Microsoft Azure、AWS、Atlas Cloud、Voltage Park、Nebius、DataCrunch、Novita、InnoMatrix、Modal、MIT、UCLA、华盛顿大学（University of Washington）、Stanford、UC Berkeley、清华大学（Tsinghua University）、Jam & Tea Studios、Baseten 及其他主要科技组织。 作为一款开源 LLM 推理引擎，SGLang 已成为事实上的行业标准，全球部署规模超过 400,000 块 GPU。 SGLang 目前由非营利开源组织 LMSYS. 托管。
联系我们
如有意大规模采用或部署 SGLang，包括技术咨询、赞助机会或合作洽谈，请通过 sglang@lmsys.org 与我们联系。
长期活跃的 SGLang 贡献者可能有资格获得编程智能体（coding agent）赞助，例如 Cursor、Claude Code 或 OpenAI Codex。请将您最重要的 commits 或 pull requests 发送至 sglang@lmsys.org。
致谢
我们从以下项目中学习设计思路并复用代码：Guidance, vLLM, LightLLM, FlashInfer, Outlines, 以及 LMQL.