Apple 用四台 Mac Studio 跑 Muse Spark Open，每秒生成超 36 token

Apple 机器学习研究团队今日发布新版 MLX 框架，支持在 Mac Studio 上本地运行和分布式推理大型语言模型。最新版 MLX 利用 Apple silicon 的统一内存架构，让研究者和开发者能在自有硬件上实验新推理和微调方法。

Muse Spark Open 是本次展示的旗舰级模型，总参数 816B，采用混合专家架构，推理时仅激活 42B 参数。在四台 Mac Studio（M5 Ultra）集群上，通过 RDMA over Thunderbolt 驱动实现张量并行，生成速度达每秒 36 token，超过人类平均阅读速度。

Apple 同时公布了单台 Mac Studio 的基准测试结果，对比 M5 Ultra 与上一代 M3 Ultra：

• 首 token 延迟（TTFT）：M5 Ultra 的 GPU 神经加速器在矩阵乘法上带来最高 4.6 倍提速
• 生成速度：M5 Ultra 内存带宽 1.2 TB/s（M3 Ultra 为 819 GB/s），解码速度快 1.6 倍
• 功耗：M3 Ultra 峰值功耗约 200W，M5 Ultra 约 300W，适合家庭或办公室部署

测试覆盖三款模型：Muse Spark Open（816B）、Mistral Medium 3.5（128B）和 Qwen 3.8（27B），分别在 8,192 和 65,536 token 上下文下测量 TTFT、吞吐和功耗。所有数据通过 mlx_lm.benchmark 工具获得。