llama.cpp v1.0.0 发布，llama.cpp 与 ggml 库进入 1.0 稳定版本

llama.cpp 让多模态大语言模型能够在从消费级本地机器到高端企业服务器的广泛硬件上运行。通过量化、优化的后端以及可移植的 C/C++ 实现，我们让 AI 推理在软件栈的每一层都触手可及。我们相信，这是构建跨平台、注重隐私的 AI 产品最轻量、最灵活、最合理的平台。

在自创立以来的 3.5 年里，这个项目已经发展壮大，许多下游应用已经依赖于我们的工作。我们预计这一趋势将持续下去，因为本地 AI 和隐私在我们的日常生活中变得越来越重要。每一次新的集成意味着更多开发者依赖我们的库接口，因此拥有一个灵活而稳定的 API 至关重要。

今天我们发布库 v1.0.0，以此凸显我们对这些开发者的责任。今后，llama.cpp 和 ggml 都将通过主版本号的提升来体现 API 和 ABI 的不兼容变更。随着采用规模的增长，我们会更加严格地向下游使用者明示这些变更边界。

发布

发布	库	公开头文件
llama.cpp v1.0.0 - 基于 C/C++ 的大语言模型推理	`libllama`	`llama.cpp/include/`
ggml v1.0.0 - 面向机器学习的张量库	`libggml`	`ggml/include/`

语义化版本更新规则

以下规则适用于所有使用语义化版本的 ggml-org 项目：

变更类型	版本提升
主版本（MAJOR）	对 `./include` 中公开 C API 的破坏性变更
次版本（MINOR）	向后兼容的功能、后端更新、模型支持或 API 新增
修订版本（PATCH）	无 API 变更的缺陷修复

分发

我们期待拓展 ggml-org 软件的分发渠道，使其触达更多开发者和最终用户。有关如何将 ggml-org 项目加入你的打包和发布流水线的更多信息，请查看以下讨论。

渠道	平台
预发布构建产物	Linux、macOS、Windows、Android、iOS
Docker	Linux
Debian	Linux
Homebrew	macOS、Linux
conda-forge	Windows、macOS、Linux
MacPorts	macOS
Winget	Windows
XCFramework	iOS、macOS

开发

该项目培育了一个出色的开源社区，汇聚了技艺高超、才华横溢的贡献者。随着 AI 能力在软件工程领域快速进步，我们继续以审慎、合理的方式在开发流程中引入和集成大语言模型。维护高质量的代码库、掌控架构以及深入理解实现细节，仍将是我们最优先的事项。

为了配合更快的开发节奏，我们持续投入越来越多的资源改进项目背后的 CI 基础设施。得益于 HF Buckets 和 HF Jobs 等 HF 技术，我们得以扩展所需的容量，确保每一个合入 master 分支的变更都正确无误。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下，我们继续在所有主流硬件平台上部署更多自托管的运行器。

后端与模型覆盖

llama.cpp - ggml 底层的机器学习引擎设计为可在几乎所有现有硬件上运行。这是通过实现专用的 ggml 后端来实现的。每个后端都可以编译为动态库，并可在运行时选择加载。

当前已实现后端的完整列表可在此处找到。

我们致力于为所有模型架构提供持续支持。目前，llama.cpp 支持超过 150 种架构变体，以及所有主流的投机解码方法。

致谢

Hugging Face 的 llama.cpp 团队感谢社区令人难以置信的支持。特别感谢该项目的长期维护者以及所有贡献者。这是一个重要的里程碑，没有我们的共同努力就不可能实现！

其他资源

llama.cpp 示例
Hugging Face 上的 ggml-org
Github 上的 ggml-org
来看看 Llama 的 MacOS 和 Windows 桌面应用，由 llama.cpp 和 Hugging Face 背后的团队倾情打造。