Hugging Face 提出 Quantization-Aware Healing:4-bit 压缩模型反超全精度原版
Hugging Face 提出 Quantization-Aware Healing(QAH),将 GPT-OSS 120B 结构压缩至 60B 参数并量化为 MXFP4 后,直接从压缩前的原始模型蒸馏,而非从恢复后的 bfloat16 检查点蒸馏。
Hugging Face 提出 Quantization-Aware Healing(QAH),将 GPT-OSS 120B 结构压缩至 60B 参数并量化为 MXFP4 后,直接从压缩前的原始模型蒸馏,而非从恢复后的 bfloat16 检查点蒸馏。