跳到正文
热点事件持续更新

METR更新AI时间跨度评测:模型判断类任务仍落后人类

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

评测机构 METR 发布新版 time horizon(时间跨度)报告,在原有的任务套件中新增更长耗时、更需判断力的开放式任务。结果显示部分能力仍沿指数轨迹提升,但在需要判断的任务上模型表现明显弱于编程:在为 METR 设计 AI 评测的任务中,没有任何模型产出的评测被认为可用于 METR 员工的研究,部分最新模型(如 Opus 5.5)只是接近可接受线,被 METR 称为“尚有希望”;在给哲学论证打分的任务上,模型也低于人类水平。

AI 根据报道生成 · 8 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. MIT Technology Review · AI
    AI 领域最易被误解的图表迎来重大更新:METR 发布新版 time horizon 报告

    评测机构 METR 更新了其广受关注也常被误读的 time horizon 图表,新增更长耗时和更开放式的任务。旧版显示前沿模型可完成的任务时长每 4 个月翻倍,但新任务中模型表现不佳:在为 METR 设计 AI 评测的任务里,没有任何模型的成果被认为可用于研究,在为哲学论证打分的任务上也低于人类水平。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。