开源工具2 分钟读完Hacker News
开发者用16GB内存跑120B MoE模型,M1 Max上比TUFF快36%
速览
一位开发者在32GB内存的M1 Max上,用不到16GB的内存预算成功运行了120B参数的MoE大模型。其自研推断引擎在gpt-oss-120b上平均速度达7.84 tokens/s,比现有工具TUFF快36%。这意味着大模型在消费级硬件上的本地运行有了新的可能性。
这位开发者没有选择将整个模型载入内存,而是把大部分MoE模型存放在SSD上,按需加载,并对推断进程的内存使用设置了硬性上限。原型引擎支持gpt-oss-120b和Qwen3.5-122B-A10B,还附带浏览器聊天界面和兼容OpenAI的本地API。引擎代码尚未公开发布。
在对照测试中,使用相同的BF16非专家权重,开发者验证了所有471个非专家张量与TUFF加载的文件完全一致。结果显示:
- 平均速度7.84 tokens/s,TUFF为5.78 tokens/s,提升约36%
- 当其他进程占用4GB内存时,该引擎速度仅下降3%,而TUFF下降23%
- 系统整体可用内存减少量两者相当,均未触发swap
开发者在测试中发现了几个容易误导的陷阱。macOS会把约8GB模型数据缓存到文件缓存中,导致测速虚高;MLX乘法内核因张量排列不同走不同数值路径;前缀缓存复用存在单token bug。修正这些问题后,性能数据明显下降。当前引擎输出与mlx-lm对照,9/9测试案例完全匹配,200次压力测试也未发现异常。
该方案仍有局限:仅支持单请求,且主要在解码速度上做了优化。开发者强调专家卸载并非新思路,其贡献在于让这一方法适配当前大型MoE模型,并确保内存预算可预测、输出与参考实现一致。后续计划在其他Apple Silicon设备上测试,并寻求与其他推断后端的独立对比。
原文I ran 120B MoE models on my 32GB M1 Max using under 16 GBmitln.github.io
#MoE#本地运行#模型优化
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。