microsoft / BitNet

∴ 是什么

bitnet.cpp 是微软发布的 1-bit 大语言模型官方推理框架，提供针对 CPU 和 GPU 的优化内核，支持 BitNet b1.58 等三元（1.58-bit）模型的快速无损推理。框架包含多种内核实现（I2_S、TL1、TL2），并已发布官方模型（如 BitNet-b1.58-2B-4T）和嵌入模型。

∴ 解决什么问题

• ›在 CPU 上运行 1-bit LLM 时推理速度慢、能耗高
• ›大规模模型难以在本地设备上部署
• ›需要无损的 1-bit 模型推理方案

∴ 怎么上手

1. 01安装依赖：python>=3.10、cmake>=3.22、clang>=18
2. 02Windows 用户需安装 Visual Studio 2022
3. 03从源码构建（详见 README 的 Build from Source 部分）

∴ 适合谁

适合需要在 CPU 或 GPU 上部署 1-bit 大语言模型的开发者，尤其是关注边缘设备推理和能效的场景。

∴ 要点

• ›支持 CPU 和 GPU 推理，NPU 支持即将到来
• ›在 ARM CPU 上实现 1.37x 至 5.07x 加速，能耗降低 55.4% 至 70.0%
• ›在 x86 CPU 上实现 2.37x 至 6.17x 加速，能耗降低 71.9% 至 82.2%
• ›可在单 CPU 上运行 100B BitNet b1.58 模型，速度达到 5-7 tokens/秒
• ›官方发布 BitNet-b1.58-2B-4T 模型和两个 1-bit 嵌入模型（0.6B 和 270M）
• ›提供在线 demo 和详细技术报告（arXiv）

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-10-12 首次上榜，累计在榜 2 天，最高第 8 名。