The Decoder· Maximilian Schreiner·· 4 小时前AI 评分51
CloudOpsBench 开源基准发布：推理能力是 AI 云运维最大瓶颈
New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations
AI 导读
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，包含 45 个基于 AWS 的 DevOps 任务，Claude Fable 5.1 完成 60%，GPT-6 Astra 完成 53%，无模型全部通过。
正文 · AI 翻译
CloudOpsBench 是一个新的开源基准测试，用于衡量 AI 智能体处理云端典型 DevOps 任务的能力，包括修复服务、删除资源、限制访问权限、发布更新和下线项目等。1.0 版包含 45 个 AWS 任务，由经验丰富的 DevOps 工程师构建。
即使是最好的模型也在许多任务上失败。Claude Fable 5.1 解决了 60% 的任务，GPT-6 Astra 完成了 53%。据密歇根大学 Ang Chen 领导的团队称，主要问题不在于知识匮乏，而在于推理。约 80% 的失败是由于智能体误判任务范围、未检查所有相关服务或过早停止。大约 20% 的错误是错误操作，其中一些对基础设施造成了不可逆的后果。
所有任务都在真实的 AWS 云和模拟器中以相同方式运行。未来还计划推出对 GCP、Azure 和 OCI 的支持。GitHub 上的项目采用 Apache 2.0 许可证，还提供详细的失败分析。
拒绝炒作的 AI 新闻 – 人工精选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整存档访问权限以及评论区的访问权限。
来源： The Decoder · the-decoder.com