Hugging Face Blog·· 15 天前精选AI 评分70
transformers 支持直接运行 llama.cpp GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 transformers 支持加载 GGUF 模型，通过 from_pretrained 传入 gguf_file 即可在本机运行 Hub 上的量化检查点。
推荐理由
Hugging Face 官方给出 GGUF 在 transformers 中的用法和与 llama.cpp 的实测对比，读者可据此判断本地推理的可行路径。
来源：Hugging Face Blog · huggingface.co