Hugging Face Blog·· 2026-08-25AI 评分43
Hugging Face 提出 Quantization-Aware Healing：4-bit 压缩模型反超全精度原版
Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original
AI 导读
Hugging Face 提出 Quantization-Aware Healing（QAH），将 GPT-OSS 120B 结构压缩至 60B 参数并量化为 MXFP4 后，直接从压缩前的原始模型蒸馏，而非从恢复后的 bfloat16 检查点蒸馏。
来源：Hugging Face Blog · huggingface.co