研究者提出用机制设计(逆向博弈论)约束AI智能体
热点事件持续更新
研究者提出用机制设计(逆向博弈论)约束AI智能体
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
MIT Technology Review 介绍了安全研究者将「逆向博弈论」(即机制设计)用于AI对齐的思路:通过设计规则,让遵守规则成为智能体最理性的选择。MIT经济学家Stephen Morris等人的预印本论文提出让模型交叉预测答案、互相竞争或配对制衡,以防「sandbagging」(故意装差);Princeton的Elad Hazan设计了让模型轮流扮演「solver」和「auditor」互相审计的机制。 报道同时指出该方法尚存不确定性:这些理论如何适用于真实模型、为一个任务设计的机制能否迁移到其他任务都还不清楚,且机制设计在人类身上效果不一,人常常不按经济模型的预测行事。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 18:43
「逆向博弈论」如何约束 AI 智能体报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- MIT Technology Review · AI「逆向博弈论」如何约束 AI 智能体
安全研究者正尝试用「逆向博弈论」(机制设计)来对齐 AI,通过设计规则让遵守规则成为智能体的最理性选择。MIT 经济学家 Stephen Morris 等人的预印本论文提出用模型间交叉预测答案、互相竞争或配对制衡来防止「sandbagging」(故意装差);Princeton 的 Elad Hazan 则设计让模型轮流扮演「solver」和「auditor」互相审计的机制。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。