lightseekorg / tokenspeed

∴ 是什么

TokenSpeed 是一个开源的 LLM 推理引擎，专为 agentic 工作负载设计。其核心组件包括：用 C++ 实现的控制平面和用 Python 实现的执行平面，通过有限状态机管理请求生命周期和 KV 缓存所有权；可插拔的分层 kernel 系统，包含针对 Blackwell 优化的 MLA 实现；以及集成 SMG 的 AsyncLLM 入口，用于低开销的 CPU 侧请求处理。

∴ 解决什么问题

• ›现有推理引擎在 agentic 工作负载下性能不足
• ›传统引擎的控制平面与执行平面耦合，导致开发迭代慢
• ›KV 缓存资源管理依赖运行时检查，存在安全隐患
• ›kernel 与核心引擎耦合，难以扩展和适配异构加速器

∴ 适合谁

适合需要高性能 LLM 推理的开发者，尤其是运行 agentic 工作负载、使用 NVIDIA 或 AMD GPU 的研究人员和工程师。

∴ 要点

• ›控制平面采用 C++ 实现为有限状态机，通过类型系统在编译期保证资源安全
• ›执行平面使用 Python，降低研究与工程认知负担
• ›kernel 作为一等模块，通过可移植公共 API 和集中注册表与核心引擎解耦
• ›支持多种模型：Qwen、Kimi、GLM、GPT-OSS、Inkling 等
• ›由非盈利的 LightSeek Foundation 支持，保持中立
• ›获得 NVIDIA 和 AMD 的硬件与工程支持

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-10-15 首次上榜，累计在榜 2 天，最高第 11 名。