wehub-resource-sync
3.0 KiB
3.0 KiB
Note
本文档由 WeHub 基于上游 README 翻译整理，属于社区翻译，非官方中文文档。
English · 原始项目 · 上游 README
原作者、版权与许可证归属以原始项目及本仓库 LICENSE 文件为准。
TokenSpeed 是一款面向 智能体工作负载（agentic workloads） 设计的「光速级」LLM 推理引擎，具备 TensorRT-LLM 级别的性能与 vLLM 级别的易用性。我们的目标是成为生产环境智能体工作负载中性能最强的推理引擎。
核心组件：
- 建模层（Modeling layer）：采用 local-SPMD 设计，配合静态编译器，可根据模块边界放置注解自动生成集合通信，用户无需手写并行逻辑。
- 调度器（Scheduler）：C++ 控制面与 Python 执行面。请求生命周期、KV 缓存归属与重叠时序编码为有限状态机，并在编译期由类型系统强制保障 KV 资源的安全复用。
- 内核（Kernels）：可插拔的分层内核系统，提供可移植的公共 API 与集中式注册表，其中包含面向智能体工作负载、在 Blackwell 上最快的 MLA（Multi-head Latent Attention，多头潜注意力）实现之一。
- 入口（Entrypoint）：集成 SMG 的 AsyncLLM，用于低开销的 CPU 侧请求处理。
动态
- [2026/06] 深入介绍 TokenSpeed-Kernel 的设计与优化。[blog]
- [2026/05] 🚀 TokenSpeed 在 Qwen3.5-397B-A17B 上为智能体工作负载达到 580 TPS。[blog]
- [2026/05] TokenSpeed 正式发布 —— 面向智能体工作负载的「光速级」LLM 推理引擎。[blog]
博客与演讲
如需阅读 LightSeek Foundation 的技术博客、会议演讲与工程文章，请访问 LightSeek Blog.
性能对比
文档
从这里开始：