重温三十年前对神经网络的批判为何可解释AI仍难实现

随着深度神经网络日益渗透到我们的日常生活——从决定贷款审批、筛选求职申请，到影响法庭保释结果，甚至在自动驾驶汽车面临紧急情况时做出关键决策，仅仅输出一个预测分数已远远不够。解释这些决策背后的逻辑变得至关重要，这正是当前可解释人工智能领域面临的核心挑战。

1 可解释AI的困境与“反事实”方法的局限

近年来，可解释AI的研究重点逐渐转向“反事实”解释。这一思路非常直观：首先构建一个假设性的输入样本，使其产生不同的预期输出，然后将其输入原始网络，通过观察隐藏层单元的变化来解释网络为何会做出另一种判断。更正式地表述为：

“返回分数 p 是因为变量 V 取值为 (v1, v2, ...)。如果 V 的取值变为 (v′1 , v′2 , ...)，而其他所有变量保持不变，则返回的分数将是 p'。”

举一个具体例子：“您的贷款申请被拒绝是因为年收入为30,000英镑。如果您的年收入达到45,000英镑，贷款申请将会获得批准。”

这听起来很有说服力，对吗？但实际情况更为复杂。一篇由Browne和Swift发表的论文指出，这类反事实解释本质上只是“稍具意义”的对抗性样本。什么是对抗性样本？它指的是通过对输入施加微小且难以察觉的扰动，导致神经网络以极高置信度做出错误分类。反事实解释虽然指出了特征应如何调整才能获得不同结果，但它并未真正“打开黑箱”——它没有揭示算法内部的实际工作机制。

该论文的核心观点非常明确：反事实示例并未提供可解释性的最终解决方案，因为“缺乏语义，就没有真正的解释”。文章甚至提出了一个更尖锐的二分结论：要么我们找到方法，从网络隐藏层中提取出假定存在的语义；要么，我们就必须承认在这条研究路径上遭遇了失败。

而来自美国东北大学体验式人工智能研究所的高级研究科学家Walid S. Saba，从组合语义的角度进行分析后，对第一条路径持悲观态度。换言之，他认为我们很可能不得不面对后者。

2 Fodor 与 Pylyshyn 的“幽灵”

尽管完全认同“没有语义就没有解释”这一前提，但Walid S. Saba认为，试图从深度神经网络的隐藏层表示中解释出语义的希望之所以渺茫，其根源在于三十多年前Fodor和Pylyshyn就已经指出的一个根本性问题。