∴ GitHub / 趋势仓库

ggml-org / llama.cpp

用 C/C++ 实现的大语言模型推理引擎

语言
C++
Star
135k
Fork
25.5k
当日新增(11-13)
+176
累计在榜
2 天
最高名次
第 13 名
首次上榜
2026-11-12
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

llama.cpp 是一个基于 ggml 库的 C/C++ 实现的大语言模型(LLM)和视觉语言模型(VLM)推理引擎。它由命令行工具(llama cli)和 API 服务器(llama serve)等部分组成,支持本地或云端运行,并提供多种硬件后端。

∴ 解决什么问题

  • 以最简设置在不同硬件上实现 LLM 推理
  • 通过量化降低模型推理时的内存占用并加速
  • 支持 CPU、GPU 等异构计算,包括混合推理以运行超出显存容量的模型

∴ 怎么上手

  1. 01curl -LsSf https://llama.app/install.sh | sh
  2. 02irm https://llama.app/install.ps1 | iex
  3. 03访问 https://llama.app 并按说明操作
  4. 04使用 Docker 运行,参见 Docker 文档
  5. 05从 releases 页面下载预编译二进制
  6. 06克隆仓库并从源码构建,参见 build 指南

∴ 适合谁

需要在本机或云端以较低门槛运行 LLM 的开发者,以及希望在多种硬件(如 Apple Silicon、NVIDIA GPU、AMD GPU 等)上优化推理性能的用户。

∴ 要点

  • 纯 C/C++ 实现,无外部依赖
  • 支持多种架构:ARM NEON、Accelerate、Metal、AVX、AVX2、AVX512、AMX、RVV 等
  • 支持 1.5-bit 至 8-bit 整数量化
  • 提供 CUDA、HIP、MUSA、Vulkan、SYCL 等 GPU 后端
  • 支持 CPU+GPU 混合推理
  • 基于 ggml 库构建
许可证 MITggml

解读由 AI 依据项目 README 生成,生成于 2026-11-12,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-11-12 首次上榜,累计在榜 2 天,最高第 13 名。

[object Object]2026-11-12 +1622026-11-13 +176
每日新增 Star · 2026-11-12 至 2026-11-13 · 共 2 个在榜日峰值 +176
日期名次当日新增总 Star
#13+176134,780
#13+162134,337