35B MoE 模型在 iPhone 上跑出 20.5 tok/s

套利逻辑

Reddit 用户展示了一个 35B 参数的 MoE 模型在 iPhone 上以 20.5 tok/s 的速度运行，且无需跳过任何专家，引发 LocalLLaMA 社区热议。 端侧 AI 是行业趋势，这代表了移动端大模型推理能力的重大突破，对 AI 开发者和关注终端智能的中文创作者有极高技术含量和话题性。