TRL AsyncGRPOTrainer 用 LoRA 和 Storage Bucket 在 HF Jobs 上跨机训练,无需 NCCL,500 步从 3 小时 27 分提速到 53 分钟
Hugging Face 在 TRL v1.14 中让 AsyncGRPOTrainer 支持 LoRA 训练并仅同步几 MB 的适配器到 vLLM,借助 Storage Bucket 挂载在 trainer 与两个 vLLM replica 之间共享文件,配合一个负责加 auth 头、按 KV 前缀路由请求和广播适配器加载的代理,无需 NCCL 跨机通信。