跳到正文
热点事件持续更新

研究者提出用机制设计(逆向博弈论)约束AI智能体

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

MIT Technology Review 介绍了安全研究者将「逆向博弈论」(即机制设计)用于AI对齐的思路:通过设计规则,让遵守规则成为智能体最理性的选择。MIT经济学家Stephen Morris等人的预印本论文提出让模型交叉预测答案、互相竞争或配对制衡,以防「sandbagging」(故意装差);Princeton的Elad Hazan设计了让模型轮流扮演「solver」和「auditor」互相审计的机制。 报道同时指出该方法尚存不确定性:这些理论如何适用于真实模型、为一个任务设计的机制能否迁移到其他任务都还不清楚,且机制设计在人类身上效果不一,人常常不按经济模型的预测行事。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. MIT Technology Review · AI
    「逆向博弈论」如何约束 AI 智能体

    安全研究者正尝试用「逆向博弈论」(机制设计)来对齐 AI,通过设计规则让遵守规则成为智能体的最理性选择。MIT 经济学家 Stephen Morris 等人的预印本论文提出用模型间交叉预测答案、互相竞争或配对制衡来防止「sandbagging」(故意装差);Princeton 的 Elad Hazan 则设计让模型轮流扮演「solver」和「auditor」互相审计的机制。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。