FareedKhan-dev / kimi-k3-in-c

∴ 是什么

这是一个用可移植 C99 编写的 Kimi K3 大语言模型推理引擎，不依赖 BLAS、框架或 GPU。它从 1.56 TB 的官方 checkpoint 读取权重，以 4-bit 形式处理专家层，并在运行时按需从磁盘流式读取权重。整个引擎代码仅 176 KB，支持 Linux、macOS 和 Windows。

∴ 解决什么问题

• ›2.78 万亿参数的模型无法装入普通机器的内存，传统推理需要 GPU 或多机集群
• ›在没有 GPU 和高端硬件的情况下，难以在本地运行大规模 LLM 进行推理
• ›内存有限时，模型无法加载，导致无法生成文本或进行多轮对话

∴ 怎么上手

1. 01克隆仓库并构建：make（假设在项目根目录，Makefile 已提供）
2. 02运行示例：./bin/k3 ~/k3model --trunk ~/k3trunk --preset laptop --tok ~/k3model --prompt "The capital of France is" --gen 8 --incremental

∴ 适合谁

适合对 LLM 推理系统实现感兴趣的开发者，尤其是关注内存效率、模型压缩、从零实现推理引擎的 C 语言系统程序员。

∴ 要点

• ›模型为 2.78T 参数，checkpoint 磁盘占用 1.56 TB，峰值内存最低 8.24 GB
• ›纯 C99 实现，无 BLAS、无框架、无 GPU，零外部依赖
• ›采用 MXFP4 量化、专家路由、KDA 线形注意力、MLA 等机制降低内存与计算
• ›不同内存配置下输出逐字节一致，仅速度不同
• ›支持多平台：Linux、macOS、Windows，并有 chat 模式与 XTML REPL
• ›许可证为 Apache-2.0

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-11-04 首次上榜，累计在榜 2 天，最高第 11 名。