跳到正文
原文
Hugging Face Blog·· 2026-07-23精选AI 评分70

Diffusers 原生支持 Nunchaku 4-bit 扩散模型推理,新增 Nunchaku Lite 集成路径

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

AI 导读

Hugging Face 宣布 Diffusers 原生支持 Nunchaku 的 SVDQuant 4-bit 扩散模型推理,通过新的 Nunchaku Lite 路径即可用 from_pretrained() 加载预量化 checkpoint,无需本地 CUDA 编译。

推荐理由

原文给出 W4A4 量化在 Diffusers 中原生加载后的实测延迟与显存数据,读者可据此评估消费级 GPU 跑大模型的可行路径。

来源:Hugging Face Blog · huggingface.co