∴ GitHub / 趋势仓库
AlexsJones / llmfit
一条命令找出你的硬件能流畅运行哪些开源大模型
- 语言
- Rust
- Star
- 35.7k
- Fork
- 2.3k
- 当日新增(09-11)
- +247
- 累计在榜
- 2 天
- 最高名次
- 第 6 名
- 首次上榜
- 2026-09-10
∴ 是什么
llmfit 是一个用 Rust 编写的命令行工具,用于检测 CPU、内存、GPU/VRAM 和加速器配置,根据模型参数量、上下文长度和量化格式(GGUF、AWQ、GPTQ、EXL2)推荐适合本机运行的开源大语言模型。它包含交互式 TUI、经典 CLI 模式、Web 仪表盘和 REST API 服务。
∴ 解决什么问题
- 用户不知道自己的硬件能流畅运行哪些开源大模型
- 在不同量化格式和上下文长度下估算模型的显存占用和每秒 token 数
- 需要比较不同模型在质量、速度、适配度和上下文方面的综合得分
- 在本地部署或购买硬件前,需要模拟不同硬件配置下的模型表现
∴ 怎么上手
- 01运行 `llmfit` 启动交互式 TUI 浏览模型排名
- 02运行 `llmfit recommend` 输出推荐模型
- 03运行 `llmfit recommend --json` 以 JSON 格式输出系统信息和推荐
- 04运行 `llmfit serve --host 0.0.0.0 --port 8787` 启动 HTTP API 服务器
- 05运行 `llmfit bench` 测量真实 tok/s 和 TTFT
- 06运行 `llmfit doctor` 生成硬件检测报告
∴ 适合谁
需要在本机或自有硬件上选择合适开源大模型的开发者、运维人员和 AI 应用部署者。
∴ 要点
- 支持自动检测 CPU 核心、系统内存、GPU/VRAM 和统一内存架构(NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI)
- 支持多 GPU、MoE 架构、动态量化选择和本地运行时提供商(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)
- 提供交互式 TUI 和 Web 仪表盘两种界面
- 提供 REST API 端点 `/api/v1/system` 和 `/api/v1/models`
- 支持 macOS(Apple Silicon 和 Intel)、Linux(x86_64 和 ARM64)和 Windows(x86_64)
- MIT 许可证,支持社区基准测试共享(`llmfit bench --share`)
许可证 MITggufllmlocalaimlxskillunsloth
解读由 AI 依据项目 README 生成,生成于 2026-10-07,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-10 首次上榜,累计在榜 2 天,最高第 6 名。