全部新闻

人工智能 ·

十年大反转:AI 可解释性研究者推翻自己的经典结论

曾把“猫脸与车头激活同一神经元”作为 AI 黑箱证据的 Nick Cammarata,如今公开表示那个神经元识别的其实是 V 字几何形状。

一个中性示意图:抽象的神经网络节点与几何形状(V 形和圆形)相互连接,背景为均匀的浅色,无人物或具体事件。
一个中性示意图:抽象的神经网络节点与几何形状(V 形和圆形)相互连接,背景为均匀的浅色,无人物或具体事件。

在 AI 可解释性领域流传了十年的一个经典案例,如今被当年提出者本人亲手否定了。这个案例涉及 InceptionV1 模型中的一个神经元,编号为 4e:55,过去被认为会在识别猫脸和汽车前脸时同时激活。人们由此得出结论:神经网络内部底层逻辑无法被人类理解。

Nick Cammarata 是 OpenAI 早期从事机制可解释性研究的科学家,也是把这个案例写进经典论文《Zoom In》的合著者之一。现在他公开表示,这个神经元其实既不看猫,也不看车。真正让它兴奋的是 V 字形的几何轮廓,比如狐狸的尖脸或者喷出的火焰,而圆形物体则会抑制它的活动。

他指出,当年得出错误结论,可能只是因为观察工具还不够好。过去十年,学界普遍沿着“拆解”的思路前进,开发出稀疏自编码器、特征字典、特征解缠等方法,试图把纠缠在一起的特征分解成人类可以理解的独立单元。

根据雷峰网报道,这一转变出现在 Cammarata 逐步重新审视早期工作的过程中,也提示整个领域需要重新评估那些曾经被当作定论的基础判断。

来源: 雷峰网

基于所附来源由 AI 撰写