vllm-project--vllm/README.md

Note

本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。

简单、快速、低成本的 LLM serving，人人可用

| 文档 | 博客 | 论文 | Twitter/X | 用户论坛 | 开发者 Slack |

🔥 我们搭建了 vLLM 官网，帮助你上手 vLLM。请访问 vllm.ai 了解更多。 有关活动，请访问 vllm.ai/events 加入我们。

---

关于

vLLM 是一个用于 LLM 推理（inference）与 serving 的快速、易用库。

最初由 UC Berkeley 的 Sky Computing Lab 开发，vLLM 已成长为最活跃的开源 AI 项目之一，由来自全球 2000 多名贡献者的众多学术机构与企业组成的多元化社区共同构建与维护。

vLLM 之所以快速，得益于：

• 业界领先的 serving 吞吐量
• 通过 PagedAttention 高效管理注意力 key 与 value 内存
• 对入站请求的连续批处理（continuous batching）、分块 prefill、前缀缓存（prefix caching）
• 借助分段与完整 CUDA/HIP 图实现快速、灵活的模型执行
• 量化：FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO 以及更多
• 优化的注意力内核，包括 FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA 和 Triton
• 使用 CUTLASS、TRTLLM-GEN、CuTeDSL 为多种精度优化的 GEMM/MoE 内核
• 推测解码（speculative decoding），包括 n-gram、suffix、EAGLE、DFlash
• 使用 torch.compile 进行自动内核生成与图级变换
• 解耦的 prefill、decode 与 encode

vLLM 灵活且易用，具备：

• 与流行的 Hugging Face 模型无缝集成
• 多种解码算法下的高吞吐量 serving，包括并行采样（parallel sampling）、束搜索（beam search）等
• 面向分布式推理的张量、流水线、数据、专家与上下文并行
• 流式输出
• 使用 xgrammar 或 guidance 生成结构化输出
• 工具调用与推理解析器
• 兼容 OpenAI 的 API 服务器，并支持 Anthropic Messages API 与 gRPC
• 对 dense 与 MoE 层的高效 multi-LoRA 支持
• 支持 NVIDIA GPU、AMD GPU 以及 x86/ARM/PowerPC CPU；此外还提供 Google TPU、Intel Gaudi、IBM Spyre、华为 Ascend、Rebellions NPU、Apple Silicon、MetaX GPU 等多种硬件插件。

vLLM 在 Hugging Face 上无缝支持 200+ 种模型架构，包括：

• 仅解码器 LLM（例如 Llama、Qwen、Gemma）
• 混合专家（MoE）LLM（例如 Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS）
• 混合注意力与状态空间模型（例如 Mamba、Qwen3.5）
• 多模态模型（例如 LLaVA、Qwen-VL、Pixtral）
• 嵌入与检索模型（例如 E5-Mistral、GTE、ColBERT）
• 奖励与分类模型（例如 Qwen-Math）

完整支持的模型列表见此处.

快速开始

使用 uv（推荐）或 pip 安装 vLLM：

uv pip install vllm

或从源码构建 以便开发。

访问我们的文档 了解更多。

• 安装
• 快速入门
• 支持的模型列表

贡献

我们欢迎并重视任何贡献与合作。 请参阅为 vLLM 做贡献 了解如何参与。

引用

如果你在研究中使用 vLLM，请引用我们的论文:

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}

联系我们

• 技术问题与功能请求，请使用 GitHub Issues
• 与其他用户交流，请使用 vLLM 论坛
• 协调贡献与开发，请使用 Slack
• 安全漏洞披露，请使用 GitHub 的 Security Advisories 功能
• 合作与商务洽谈，请通过 collaboration@vllm.ai 联系我们

媒体资源

• 如需使用 vLLM 徽标，请参阅我们的媒体资源仓库