DeepSeek 开源推理引擎 DeepInfer，支持华为昇腾 NPU

DeepInfer 是 DeepSeek 生产服务的核心推理框架，最初主要基于 vLLM 构建，同时吸收了 SGLang 和 TensorRT-LLM 的设计思路。此次开源版本提供离线推理能力，但不包含完整的推理服务所需的前置/解码分离和负载均衡功能，这些需要开发者自行实现。

框架主要特性包括：

• 优化内核：整合 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及自定义 TileLang 内核
• DSpark 加速：使用草稿 token 加速解码，通过置信度调度验证，可通过环境变量控制草稿长度
• 异步调度：CPU 批次调度与设备执行重叠，默认开启
• 确定性采样：在 NVIDIA 平台上可保证相同输入产生相同输出

DeepInfer 支持 NVIDIA 和华为昇腾 950 NPU 两种平台，分别需要 CUDA 13 和 CANN 9.2。使用者需创建 Python 3.12 环境并通过环境变量指定加速器类型。基准测试在 4 块 SM100 GPU 上完成预填充、64 块上完成解码，性能数据可通过附带的 run_sweep.sh 脚本复现。