∴ GitHub / 趋势仓库

magnitudedev / magnitude

面向 AI 代理的开源推理引擎,针对你的硬件自动编译调优

语言
TypeScript
Star
3.9k
Fork
281
当日新增(09-07)
+604
累计在榜
1 天
最高名次
第 11 名
首次上榜
2026-09-07
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

Magnitude 是一个开源推理引擎,以桌面应用形式分发,内置 magnitude CLI。它针对用户的具体硬件动态编译并调优内核,使开放模型以更接近硬件极限的速度运行。应用提供 Discover 和 Connections 界面,用于下载模型并与已使用的代理连接。

∴ 解决什么问题

  • 通用推理引擎预编译的内核无法适配具体芯片,性能受限
  • 希望运行开放模型但不想支付 token 费用或担心数据离开本机
  • 需要同时运行多个代理会话,期望降低内存占用并避免速度下降

∴ 怎么上手

  1. 01下载 Magnitude 并安装,打开应用
  2. 02在 Discover 中选择推荐模型并下载
  3. 03在 Connections 中连接你的代理并开始使用

∴ 适合谁

已在用代理(如 Pi、OpenCode、Hermes、Codex 等)的开发者,希望在不离开本机的前提下以更高速度运行开放模型,且硬件覆盖 Apple Silicon、NVIDIA、AMD 或纯 CPU。

∴ 要点

  • 最多比 llama.cpp 快 2 倍,Metal 解码快 92%,CUDA 快 19%
  • 内核在设备上编译并调优,适配具体芯片
  • 拥有针对流行开源权重家族的 hand-optimized 内核
  • 每个代理内存减少 27%,代理停止时释放内存
  • 会话共享前缀缓存,支持快速并发
  • 开源、Apache-2.0 许可,prompts、文件、模型均留在本机
许可证 Apache-2.0

解读由 AI 依据项目 README 生成,生成于 2026-10-07,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-07 首次上榜,累计在榜 1 天,最高第 11 名。

[object Object]2026-09-07 +604
每日新增 Star · 2026-09-07 至 2026-09-07 · 共 1 个在榜日峰值 +604
日期名次当日新增总 Star
#11+6043,908