vllm-project / vllm

∴ 是什么

vLLM 是一个用于大语言模型推理和服务的 Python 库，具备高吞吐和内存高效的特点。它由 UC Berkeley Sky Computing Lab 发起，现由来自学术机构和公司的 2000 多名贡献者共同维护。其核心机制包括 PagedAttention 高效管理注意力键值内存、连续批处理、分块预填充、前缀缓存，以及优化的 CUDA/HIP 图和多种量化与注意力内核支持。

∴ 解决什么问题

• ›LLM 推理和 serving 吞吐量不足
• ›注意力键值内存管理低效
• ›请求批处理效率低、预填充延迟高
• ›分布式推理和多种硬件支持复杂

∴ 怎么上手

1. 01uv pip install vllm
2. 02vllm download-kernels

∴ 适合谁

适合需要部署或开发 LLM 推理服务的开发者，尤其是关注高性能、多硬件支持和模型兼容性的团队或个人。

∴ 要点

• ›支持 200+ Hugging Face 模型架构，包括 Llama、Qwen、DeepSeek-V3、Mamba、LLaVA 等
• ›提供 OpenAI 兼容 API、Anthropic Messages API 和 gRPC 支持
• ›支持 NVIDIA、AMD、Intel GPU，以及 CPU 和多种硬件插件（TPU、Gaudi、Ascend 等）
• ›包含多种量化方案（FP8、GPTQ/AWQ、GGUF 等）和优化内核（FlashAttention、FlashInfer 等）
• ›支持投机解码、多 LoRA、流式输出、结构化输出和工具调用
• ›采用 Apache-2.0 许可证

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-10-20 首次上榜，累计在榜 1 天，最高第 15 名。