开源工具2 分钟读完Hugging Face Blog

llama.cpp 发布 v1.0.0,确立稳定 API 并升级 ggml 到 1.0

速览

llama.cpp 项目发布 v1.0.0 版本,同时其底层张量库 ggml 也发布 v1.0.0。此次版本更新明确了语义化版本规则,未来 API 和 ABI 的不兼容变更将通过主版本号递增来标示。这意味着下游开发者可以更依赖其接口稳定性,本地 AI 生态的构建基础更加稳固。

llama.cpp 发布 v1.0.0 是其项目发展 3.5 年的里程碑。项目团队在公告中强调,随着本地 AI 和隐私需求增长,越来越多的下游应用依赖其库接口,因此提供灵活且稳定的 API 至关重要。从这一版本起,llama.cpp 和 ggml 都将严格遵循语义化版本控制,任何破坏性变更都会通过主版本号升级来明确告知开发者。

具体更新规则如下:

  • 对 ./include 中公共 C API 的破坏性变更,触发主版本号递增。
  • 向后兼容的功能、后端更新、模型支持或 API 新增,触发次版本号递增。
  • 不涉及 API 变更的 bug 修复,触发补丁版本号递增。

项目团队还透露,为支持更快的开发节奏,他们正持续加强 CI 基础设施建设,并借助 Hugging Face 的 HF Buckets 和 HF Jobs 技术来保证主分支每次变更的正确性。硬件方面,NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 提供了支持,帮助项目在各大硬件平台上扩展自托管运行器。

ggml 引擎的设计目标是能在几乎所有硬件上运行,通过实现专门的 ggml 后端,每个后端可编译为动态库并在运行时按需加载。目前 llama.cpp 已支持超过 150 种模型架构变体,以及所有主流的推测解码方法。预编译产物已覆盖 Linux、macOS、Windows、Android 和 iOS 平台。

原文llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystemhuggingface.co

#llama.cpp#开源#发布

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。