∴ GitHub / 趋势仓库

AlexsJones / llmfit

一条命令找出你的硬件能流畅运行哪些开源大模型

语言
Rust
Star
35.7k
Fork
2.3k
当日新增(09-11)
+247
累计在榜
2 天
最高名次
第 6 名
首次上榜
2026-09-10
去 GitHub 查看 ↗

∴ 是什么

llmfit 是一个用 Rust 编写的命令行工具,用于检测 CPU、内存、GPU/VRAM 和加速器配置,根据模型参数量、上下文长度和量化格式(GGUF、AWQ、GPTQ、EXL2)推荐适合本机运行的开源大语言模型。它包含交互式 TUI、经典 CLI 模式、Web 仪表盘和 REST API 服务。

∴ 解决什么问题

  • 用户不知道自己的硬件能流畅运行哪些开源大模型
  • 在不同量化格式和上下文长度下估算模型的显存占用和每秒 token 数
  • 需要比较不同模型在质量、速度、适配度和上下文方面的综合得分
  • 在本地部署或购买硬件前,需要模拟不同硬件配置下的模型表现

∴ 怎么上手

  1. 01运行 `llmfit` 启动交互式 TUI 浏览模型排名
  2. 02运行 `llmfit recommend` 输出推荐模型
  3. 03运行 `llmfit recommend --json` 以 JSON 格式输出系统信息和推荐
  4. 04运行 `llmfit serve --host 0.0.0.0 --port 8787` 启动 HTTP API 服务器
  5. 05运行 `llmfit bench` 测量真实 tok/s 和 TTFT
  6. 06运行 `llmfit doctor` 生成硬件检测报告

∴ 适合谁

需要在本机或自有硬件上选择合适开源大模型的开发者、运维人员和 AI 应用部署者。

∴ 要点

  • 支持自动检测 CPU 核心、系统内存、GPU/VRAM 和统一内存架构(NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI)
  • 支持多 GPU、MoE 架构、动态量化选择和本地运行时提供商(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)
  • 提供交互式 TUI 和 Web 仪表盘两种界面
  • 提供 REST API 端点 `/api/v1/system` 和 `/api/v1/models`
  • 支持 macOS(Apple Silicon 和 Intel)、Linux(x86_64 和 ARM64)和 Windows(x86_64)
  • MIT 许可证,支持社区基准测试共享(`llmfit bench --share`)
许可证 MITggufllmlocalaimlxskillunsloth

解读由 AI 依据项目 README 生成,生成于 2026-10-07,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-10 首次上榜,累计在榜 2 天,最高第 6 名。

[object Object]2026-09-10 +2472026-09-11 +247
每日新增 Star · 2026-09-10 至 2026-09-11 · 共 2 个在榜日峰值 +247
日期名次当日新增总 Star
#6+24735,675
#6+24735,499