Hugging Face Blog·· 6 天前AI 评分54
Ai2 发布开源训练框架 Olmo-core 3，面向大规模 MoE 训练
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Ai2 发布 Olmo-core 3，重新设计开源 MoE 训练系统，支持扩展到万亿参数规模。它从 FSDP 改为基于 DDP 的方案，47B 参数 MoE 在 8 块 NVIDIA B300 上吞吐达 52。
来源：Hugging Face Blog · huggingface.co