全部新闻

人工智能 ·

逆向博弈论或成管控AI智能体的新思路

随着AI模型能力不断增强,安全研究人员正尝试用“逆向博弈论”设计系统,以激励强大的AI智能体遵守规则,减少失控风险。

一幅示意图,展示一个由规则和激励机制构成的抽象网络,AI智能体在节点间寻找最优路径,背景为中性色调。
一幅示意图,展示一个由规则和激励机制构成的抽象网络,AI智能体在节点间寻找最优路径,背景为中性色调。

随着人工智能模型的能力越来越强,安全研究人员正加紧确保它们与人类的意愿保持一致,也就是防止那些不受控制的智能体违法乱纪或造成危害。最近,一种被称为“逆向博弈论”的新方法引起了关注,其目标是通过设计相应的系统,让强大的AI模型有动力去遵守规则。

这种方法不同于传统的事后惩罚或人工监督,而是试图从根本上改变AI智能体所处的激励环境。研究者的思路是,如果能够事先设计好规则和回报机制,那么无论AI模型变得多么聪明,它在追求自身目标时都会发现,遵守规则才是最优选择。

换句话说,逆向博弈论不是直接命令AI该做什么,而是构建一个让“守规矩”成为理性策略的框架。这样一来,即使AI的能力继续增长,其行为也更可能保持在人类可接受的范围内,从而降低出现失控智能体的风险。

目前这一方向仍处于早期探索阶段,但它为AI安全领域提供了一种新的视角:与其试图约束每一个可能出现的异常行为,不如从制度设计上让AI从一开始就没有动力偏离正轨。

来源: MIT Technology Review

基于所附来源由 AI 撰写