Magnitude 发布：为 Agent 自优化的开源推理引擎，比 llama.cpp 快 2 倍

Anders 和 Tom 曾是开源浏览器代理的开发者，他们发现现有推理引擎在运行本地模型时存在权衡：数据中心批处理引擎牺牲单会话性能，通用引擎只求兼容性。于是他们开发了 Magnitude，一个针对具体硬件自优化的推理引擎。

Magnitude 的核心优势在于它会在设备上编译并调优内核，而非使用预编译的通用版本。实测显示，在 Metal 上解码速度快 92%，CUDA 上快 19%，整体比 llama.cpp 快 2 倍。同时，每个代理会话内存占用少 27%，且代理停止时会自动释放。

该引擎以桌面应用形式发布，内置命令行工具，用户可在 Discover 中下载推荐模型，并通过 Connections 连接 Pi、OpenCode、Hermes 等代理。支持通过 OpenAI 兼容 API 集成其他工具。所有数据留在本地，无需联网，无需支付 token 费用，采用 Apache 2.0 开源协议。