METR更新AI时间跨度评测:模型判断类任务仍落后人类
热点事件持续更新
METR更新AI时间跨度评测:模型判断类任务仍落后人类
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
评测机构 METR 发布新版 time horizon(时间跨度)报告,在原有的任务套件中新增更长耗时、更需判断力的开放式任务。结果显示部分能力仍沿指数轨迹提升,但在需要判断的任务上模型表现明显弱于编程:在为 METR 设计 AI 评测的任务中,没有任何模型产出的评测被认为可用于 METR 员工的研究,部分最新模型(如 Opus 5.5)只是接近可接受线,被 METR 称为“尚有希望”;在给哲学论证打分的任务上,模型也低于人类水平。
AI 根据报道生成 · 8 分钟前更新
最新进展11月21日 02:15
AI 领域最易被误解的图表迎来重大更新:METR 发布新版 time horizon 报告报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- MIT Technology Review · AIAI 领域最易被误解的图表迎来重大更新:METR 发布新版 time horizon 报告
评测机构 METR 更新了其广受关注也常被误读的 time horizon 图表,新增更长耗时和更开放式的任务。旧版显示前沿模型可完成的任务时长每 4 个月翻倍,但新任务中模型表现不佳:在为 METR 设计 AI 评测的任务里,没有任何模型的成果被认为可用于研究,在为哲学论证打分的任务上也低于人类水平。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。