FlashML-org / FreeToken

∴ 是什么

FreeToken 是一个面向边缘设备的混合专家（MoE）推理引擎，将 GPU、CPU、主机内存和互联等异构边缘资源统一为弹性推理平台。它提供带宽自适应的 CPU-GPU 协同执行、全层双缓冲预填充流式处理、全局 LRU 专家缓存、FTW 快速权重格式、语义感知缓存和弹性内存管理。

∴ 解决什么问题

• ›在个人电脑上运行 290B+ 参数的前沿 MoE 模型
• ›利用消费级硬件实现交互速度的本地推理
• ›避免代理式上下文编辑（如工具调用、思考块）导致的冗余上下文重计算
• ›在运行时动态调整专家缓存与 KV 内存间的显存分配，无需重启引擎或重新加载权重

∴ 怎么上手

1. 01使用 uv 安装：uv pip install "freetoken[accel]"
2. 02或从源码构建：git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
3. 03创建虚拟环境：uv venv && source .venv/bin/activate
4. 04安装依赖：uv pip install -e ".[accel]"
5. 05下载桌面应用：访问 flashml.ai 获取 Windows 或 Linux 版本

∴ 适合谁

面向希望在个人电脑或消费级硬件上运行大规模 MoE 模型的开发者、研究人员和 AI 应用开发者，尤其是需要本地推理或与编程/工具调用代理集成的用户。

∴ 要点

• ›支持 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等前沿开源 MoE 模型
• ›支持 MXFP4、NVFP4、FP8、BF16 等多种量化格式
• ›提供 Anthropic/OpenAI 兼容 API，可集成 Codex、Claude Code、OpenCode 等代理
• ›原生支持 NVIDIA RTX 30、RTX 40、RTX 50 系列 GPU
• ›采用 Apache License 2.0 许可

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-11-01 首次上榜，累计在榜 1 天，最高第 16 名。