∴ GitHub / 趋势仓库
magnitudedev / magnitude
面向 AI 代理的开源推理引擎,针对你的硬件自动编译调优
- 语言
- TypeScript
- Star
- 3.9k
- Fork
- 281
- 当日新增(09-07)
- +604
- 累计在榜
- 1 天
- 最高名次
- 第 11 名
- 首次上榜
- 2026-09-07
∴ 是什么
Magnitude 是一个开源推理引擎,以桌面应用形式分发,内置 magnitude CLI。它针对用户的具体硬件动态编译并调优内核,使开放模型以更接近硬件极限的速度运行。应用提供 Discover 和 Connections 界面,用于下载模型并与已使用的代理连接。
∴ 解决什么问题
- 通用推理引擎预编译的内核无法适配具体芯片,性能受限
- 希望运行开放模型但不想支付 token 费用或担心数据离开本机
- 需要同时运行多个代理会话,期望降低内存占用并避免速度下降
∴ 怎么上手
- 01下载 Magnitude 并安装,打开应用
- 02在 Discover 中选择推荐模型并下载
- 03在 Connections 中连接你的代理并开始使用
∴ 适合谁
已在用代理(如 Pi、OpenCode、Hermes、Codex 等)的开发者,希望在不离开本机的前提下以更高速度运行开放模型,且硬件覆盖 Apple Silicon、NVIDIA、AMD 或纯 CPU。
∴ 要点
- 最多比 llama.cpp 快 2 倍,Metal 解码快 92%,CUDA 快 19%
- 内核在设备上编译并调优,适配具体芯片
- 拥有针对流行开源权重家族的 hand-optimized 内核
- 每个代理内存减少 27%,代理停止时释放内存
- 会话共享前缀缓存,支持快速并发
- 开源、Apache-2.0 许可,prompts、文件、模型均留在本机
许可证 Apache-2.0
解读由 AI 依据项目 README 生成,生成于 2026-10-07,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-07 首次上榜,累计在榜 1 天,最高第 11 名。