阿里等团队发布Co-Design Bench:最佳模型仅26.4%任务完全正确
热点事件持续更新
阿里等团队发布Co-Design Bench:最佳模型仅26.4%任务完全正确
1 篇报道1 个报道来源58 分钟前更新
先了解这件事
AI 综述
阿里巴巴联合亚洲多所大学的研究者基于真实用户的改动请求,发布了编码智能体基准 Co-Design Bench,评测十个模型改写现有 Web 应用的能力。结果显示最佳模型 GPT-6 Astra 平均只满足约 70% 的任务需求,仅 26.4% 的任务完全正确,其后是 Claude Opus 5 和 Qwen3.8-Max,Grok 4.6 垫底。 该基准的特点是:只有真正在应用中可用的功能才能得分,且每个任务只评测一条固定的用户请求,不含追问或中途纠错;部分任务的输入还包含图片、音频、视频或文档。测试还发现模型表现受运行环境(harness)影响显著,作者建议模型与环境需搭配评测。
AI 根据报道生成 · 37 分钟前更新
最新进展11月8日 17:50
真实世界测试显示:AI 编程智能体近四分之三任务仍需人工清理——Co-Design Bench 揭示报道时间线
沿着报道,了解事件的不同侧面。
11月8日
- The Decoder真实世界测试显示:AI 编程智能体近四分之三任务仍需人工清理——Co-Design Bench 揭示
Alibaba 与多所亚洲大学的研究者基于真实用户改动请求构建了编程智能体基准 Co-Design Bench。十个受测模型中最佳的 GPT-6 Astra 平均只满足约 70% 的任务需求,仅 26.4% 的任务完全正确,其次为 Claude Opus 5 和 Qwen3.8-Max,Grok 4.6 垫底。测试还发现模型表现受运行环境(harness)影响显著,作者建议模型与环境需搭配评测。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。