The Decoder· Maximilian Schreiner·· 3 小时前
CloudOpsBench 开源基准揭示:推理是 AI 云运维的最大瓶颈
New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations
AI 导读
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 项基于 AWS 的 DevOps 任务。Claude Fable 5.1 仅解决 60% 的任务,GPT-6 Astra 为 53%,无一模型全部完成。约 80% 的失败源于智能体误判任务范围、未检查所有相关服务或过早停止,约 20% 是错误操作,部分对基础设施造成不可逆后果。
来源:The Decoder · the-decoder.com