∴ GitHub / 趋势仓库
JustVugg / colibri
纯 C 实现、零依赖的 MoE 推理引擎,支持从磁盘流式加载专家
- 语言
- C
- Star
- 47.5k
- Fork
- 5.5k
- 当日新增(11-04)
- +802
- 累计在榜
- 10 天
- 最高名次
- 第 1 名
- 首次上榜
- 2026-09-10
∴ 是什么
colibri 是一个用纯 C 编写的 MoE 模型推理引擎,无运行时依赖。它将 VRAM、RAM 和存储视为统一的多层内存层次,按需从磁盘流式加载专家权重。引擎包含单一 C 文件及小型头文件,提供 `coli chat`、`coli serve`、`coli web` 等统一前端。
∴ 解决什么问题
- 在消费级和异构硬件上运行 744B 至 2.8T 参数的 MoE 模型
- 减少大型模型对稀缺硬件的依赖,降低运行成本
- 避免快速内存不足时静默改变模型精度或路由语义
∴ 怎么上手
- 01运行 `./coli chat` 启动交互式对话
∴ 适合谁
适合希望在自有硬件上运行大型 MoE 模型的研究者和开发者,也适合对推理性能优化和系统研究感兴趣的人。
∴ 要点
- 支持 9 个模型家族,包括 GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash 等
- 单一 C 文件实现,无 BLAS、无 Python 运行时、无需 GPU
- 使用 57× 更小的 MLA KV 状态,保持 token 精确的前向验证
- 提供 Brio 模式(只读概率不生成)、Brain 页面(专家图谱)和 Profiling 页面
- 采用 Apache-2.0 许可证
许可证 Apache-2.0
解读由 AI 依据项目 README 生成,生成于 2026-10-06,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-10 首次上榜,累计在榜 10 天,最高第 1 名。