∴ GitHub / 趋势仓库

JustVugg / colibri

纯 C 实现、零依赖的 MoE 推理引擎,支持从磁盘流式加载专家

语言
C
Star
47.5k
Fork
5.5k
当日新增(11-04)
+802
累计在榜
10 天
最高名次
第 1 名
首次上榜
2026-09-10
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

colibri 是一个用纯 C 编写的 MoE 模型推理引擎,无运行时依赖。它将 VRAM、RAM 和存储视为统一的多层内存层次,按需从磁盘流式加载专家权重。引擎包含单一 C 文件及小型头文件,提供 `coli chat`、`coli serve`、`coli web` 等统一前端。

∴ 解决什么问题

  • 在消费级和异构硬件上运行 744B 至 2.8T 参数的 MoE 模型
  • 减少大型模型对稀缺硬件的依赖,降低运行成本
  • 避免快速内存不足时静默改变模型精度或路由语义

∴ 怎么上手

  1. 01运行 `./coli chat` 启动交互式对话

∴ 适合谁

适合希望在自有硬件上运行大型 MoE 模型的研究者和开发者,也适合对推理性能优化和系统研究感兴趣的人。

∴ 要点

  • 支持 9 个模型家族,包括 GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash 等
  • 单一 C 文件实现,无 BLAS、无 Python 运行时、无需 GPU
  • 使用 57× 更小的 MLA KV 状态,保持 token 精确的前向验证
  • 提供 Brio 模式(只读概率不生成)、Brain 页面(专家图谱)和 Profiling 页面
  • 采用 Apache-2.0 许可证
许可证 Apache-2.0

解读由 AI 依据项目 README 生成,生成于 2026-10-06,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-10 首次上榜,累计在榜 10 天,最高第 1 名。

[object Object]2026-09-10 +1572026-09-11 +1302026-09-14 +2,2332026-09-15 +2,0352026-09-16 +2,0352026-09-17 +8722026-09-18 +8732026-11-02 +6552026-11-03 +8032026-11-04 +802
每日新增 Star · 2026-09-10 至 2026-11-04 · 共 10 个在榜日峰值 +2,233
日期名次当日新增总 Star
#4+80247,516
#4+80347,007
#10+65546,237
#15+87335,860
#15+87235,505
#2+2,03533,657
#2+2,03533,243
#1+2,23331,246
#12+13027,410
#12+15727,280