∴ GitHub / 趋势仓库
ggml-org / llama.cpp
用 C/C++ 实现的大语言模型推理引擎
- 语言
- C++
- Star
- 135k
- Fork
- 25.5k
- 当日新增(11-13)
- +176
- 累计在榜
- 2 天
- 最高名次
- 第 13 名
- 首次上榜
- 2026-11-12
∴ 是什么
llama.cpp 是一个基于 ggml 库的 C/C++ 实现的大语言模型(LLM)和视觉语言模型(VLM)推理引擎。它由命令行工具(llama cli)和 API 服务器(llama serve)等部分组成,支持本地或云端运行,并提供多种硬件后端。
∴ 解决什么问题
- 以最简设置在不同硬件上实现 LLM 推理
- 通过量化降低模型推理时的内存占用并加速
- 支持 CPU、GPU 等异构计算,包括混合推理以运行超出显存容量的模型
∴ 怎么上手
- 01curl -LsSf https://llama.app/install.sh | sh
- 02irm https://llama.app/install.ps1 | iex
- 03访问 https://llama.app 并按说明操作
- 04使用 Docker 运行,参见 Docker 文档
- 05从 releases 页面下载预编译二进制
- 06克隆仓库并从源码构建,参见 build 指南
∴ 适合谁
需要在本机或云端以较低门槛运行 LLM 的开发者,以及希望在多种硬件(如 Apple Silicon、NVIDIA GPU、AMD GPU 等)上优化推理性能的用户。
∴ 要点
- 纯 C/C++ 实现,无外部依赖
- 支持多种架构:ARM NEON、Accelerate、Metal、AVX、AVX2、AVX512、AMX、RVV 等
- 支持 1.5-bit 至 8-bit 整数量化
- 提供 CUDA、HIP、MUSA、Vulkan、SYCL 等 GPU 后端
- 支持 CPU+GPU 混合推理
- 基于 ggml 库构建
许可证 MITggml
解读由 AI 依据项目 README 生成,生成于 2026-11-12,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-12 首次上榜,累计在榜 2 天,最高第 13 名。