可解释性AI的定义与局限它无法解释什么
在机器学习领域，一个长期困扰从业者的核心问题是：模型精度与可解释性能否兼得？ IEEE研究员Cuntai Guan一语道破当前困境：“许多机器决策仍然缺乏有效的理解。”不少研究论文甚至直接将二者对立起来——要么模型准确但如同黑箱，要么可解释性强却精度不足。 简而言之，神经网络通常表现出色，但其内部决
在机器学习领域，一个长期困扰从业者的核心问题是：模型精度与可解释性能否兼得？
IEEE研究员Cuntai Guan一语道破当前困境：“许多机器决策仍然缺乏有效的理解。”不少研究论文甚至直接将二者对立起来——要么模型准确但如同黑箱，要么可解释性强却精度不足。
简而言之，神经网络通常表现出色，但其内部决策机制难以捉摸；决策树虽然每一步都能清晰解释，但在图像分类等高维任务中，准确率往往大幅下降。
所谓的可解释性AI（XAI）试图搭建沟通桥梁，然而它本身也存在局限——很多时候XAI只是为决策寻找一个“合理化的理由”，而非真正揭示模型自身的运行逻辑。
这导致金融、医疗等领域的从业者陷入两难选择：要么采用高精度但不可解释的模型，要么采用可解释但精度较低的模型。
难道真的只能二选一？
什么是“可解释的”？
在计算机视觉中，为“可解释性”下定义本身就是一个难题。面对高维图像输入，如何才算“解释”了一个分类结果？
目前主流方法主要有两种：显著图与决策树。但这两种方法都存在明显缺陷，下面将详细展开。
可解释性AI不能解释什么
显著图：只看局部，忽略全局
许多XAI方法会生成一张热图（即显著图），标注哪些像素对预测结果影响最大。这看起来直观，但显著图仅关注输入，完全忽略模型内部一步步推演结论的过程。
举个例子：原始图像经过Grad-CAM处理后，会得到一张高亮区域的显著图；再结合引导反向传播，又能获得另一张不同的图。
问题在于，这两张图可能看起来相似，但预测结果却截然不同。下面是一个典型案例：
显著图不能解释什么
为阐明这一点，我们来看一组真实案例：两幅显著图均准确标出了物体所在区域，但其中一幅预测错误，另一幅则正确。为什么会出现这种差异？
这个问题对改进模型至关重要，但显著图无法给出答案——它仅能告诉你“这些像素重要”，却无法说明“模型是如何利用这些像素做出判断的”。
（示例来自Caltech-UCSD Birds-200-2011数据集，在ResNet18上使用Grad-CAM得到的结果。两张显著图几乎一致，但模型预测结果不同。）
决策树：精度差距显著
另一种思路是舍弃神经网络，直接采用决策树这类天然可解释的模型。在深度学习兴起之前，决策树确实是准确性与可解释性之间的“黄金标准”。
它将每个预测拆解为一系列决策链条——例如判断“大汉堡”还是“华夫饼”，会先问“是否有面包？”“是否有肉？”。每一步都可单独验证或质疑。
听起来很理想，但问题在于：在图像分类任务上，决策树的精度比神经网络低出40%之多。即使是将神经网络与决策树混合的算法，在CIFAR10这样的小数据集上也难以匹敌纯神经网络。
（CIFAR10中的图像尺寸仅为32×32像素，细节模糊到肉眼难以区分。图片来自CIFAR10数据集样本。）
精度差距直接削弱了可解释性的价值：若想用一个可解释的模型去解释一个高精度的神经网络，前提是那个可解释模型本身必须足够准确。
进入神经支持的决策树
有没有办法打破这种“二选一”的魔咒？答案是肯定的——将神经网络与决策树结合起来，让神经网络负责底层局部决策，而决策树保留高层可解释性。
我们将这种模型称为“神经支持的决策树”（NBDT，Neural-Backed Decision Trees）。实验证明，它在保持决策树可解释性的同时，能够达到与神经网络相当甚至持平的准确率。
（图中每个节点都是一个神经网络。该图仅高亮了一个节点及其内部的神经网络。在NBDT中，预测路径整体由决策树结构决定，保留高层可解释性；但每个节点内部的“低级决定”——比如“有香肠”还是“没香肠”——由神经网络完成。）
NBDT与决策树一样具备可解释性。
与现代神经网络不同，NBDT能够输出中间决策。例如给定一张图片，传统神经网络只能输出“狗”，而NBDT可以同时输出“动物→脊索动物→食肉目→狗”的完整推理链路。
（图中每个节点都是一个神经网络。该图仅高亮了一个节点及其内部的神经网络。在NBDT中，通过决策树进行预测，保留高级解释性；每个节点内的神经网络做出低级决定，如“有香肠”还是“没香肠”。上方照片来自pexels.com，遵循Pexels许可协议。）
NBDT同时实现了神经网络的准确率。
与以往任何基于决策树的方法不同，NBDT在三个图像分类数据集上都达到了与神经网络相当的精度（差异小于1%）。即使在ImageNet这个包含120万张224×224图像的超大数据集上，NBDT的精度波动也仅控制在神经网络2%的范围内。
更关键的是，NBDT为可解释模型树立了新的精度标杆——在ImageNet上达到75.30%，比此前最好的基于决策树的方法高出整整14个百分点。而不可解释的神经网络要实现同等提升，曾耗费研究界整整3年的时间。
神经支持的决策树可以解释什么，如何解释
个人预测的理由
最有价值的一点是，NBDT能为单个预测提供清晰的“理由链”。例如，向模型展示一张它从未见过的斑马图片，NBDT依然能正确输出“动物→蹄类动物→斑马”的中间决策。这种能力对于处理未知物体尤为关键。
（图中：NBDT在CIFAR10上训练，此前从未见过斑马，但仍正确地将斑马识别为动物和蹄类动物。照片来自pexels.com，遵循Pexels许可协议。）
模型行为的理由
进一步，我们发现NBDT的可解释性会随着模型准确率的提升而变得更好。这与文章开头提到的“二分法”完全相反：NBDT不仅同时做到了准确与可解释，而且两者是相互促进的。
（ResNet10层次结构、WideResNet层次结构对比：左边的层次结构将“猫”“青蛙”“飞机”归在同一子树下，意义不大；右边的WideResNet结构则清晰地将“动物”和“交通工具”分离开来，更符合直觉。图片来自CIFAR10数据集。）
例如，精度较低的ResNet归纳出的层次结构里，青蛙、猫和飞机被归为一个子树，这很不合理——很难找到三者共有的显著视觉特征。而精度更高的WideResNet生成的层次结构则更合理：动物和交通工具完全分开。因此，准确率越高，NBDT的解释就越清晰。
（图源：unsplash）
了解决策规则
在低维表格数据上，决策树的规则很容易解释——比如“盘子里有面包，走右边分支”。但面对图像这种高维输入，决策规则就不那么直观了：不仅需要判断“有没有面包”，还要综合上下文、形状、颜色等多种因素。
（示意图：表格数据示例及其对应的决策树。决策规则“是否有面包？”将带有面包的项分到上方节点，其余分到下方节点。）
为了定量解释这些决策规则，我们借助了WordNet这一现成的语义层次结构。通过WordNet，可以找到类别之间最具体的共享含义——例如“猫”和“狗”的共同上位词是“哺乳动物”。
（图示：左子树（红色箭头）的WordNet假设是“Vehicle”，右子树（蓝色箭头）的假设是“Animal”。）
我们定量验证了这些WordNet假设：对于训练期间未出现过的图像，先根据假设判断它应属于哪个节点（比如大象属于动物，应进入“Animal”子树），然后检查模型实际将多少张这类图像传递到了正确的节点。结果显示，未见过的动物和交通工具的传递准确率都很高。
需要说明的是，在CIFAR10这样仅有10个类别的小数据集上，可以为所有节点找到WordNet假设；但在ImageNet这类1000个类别的大数据集上，只能找到部分节点的假设。
一分钟内尝试NBDT
如果感兴趣，完全不需要安装任何软件即可体验NBDT。可以访问在线示例，上传图片查看效果。或者直接通过命令行工具运行推理（安装命令：pip install nbdt）。下面是对一张猫图片进行推理的示例：
nbdthttps://images.pexels.com/photos/126407/pexels-photo-126407.jpeg?auto=compress&cs=tinysrgb&dpr=2&w=32 # 也可以是本地路径
输出将显示类别预测及所有中间决策：
Prediction: cat // Decisions: animal (99.47%), chordate (99.20%), carnivore (99.42%), cat (99.86%)
也可以用几行Python代码加载预训练好的NBDT模型（支持多种神经网络和数据集）：
from nbdt.model import HardNBDT from nbdt.models import wrn28_10_cifar10 model = wrn28_10_cifar10() model = HardNBDT(pretrained=True, dataset='CIFAR10', arch='wrn28_10_cifar10', model=model)
作为参考，上述命令行工具的脚本仅约20行代码，用于转换输入并执行推理。
运作原理
NBDT的训练与推理分为四个步骤：
第一步：构建决策树的层次结构。该层次结构决定了模型需要在哪些类之间进行决策，我们称之为“归纳层次结构”。
第二步：训练带特殊损失项的神经网络。根据层次结构设计一个“树监督损失”函数，用这个新损失来训练原有的神经网络，无需其他修改。
第三步：推理——神经网络主干。将样本送入神经网络的所有层（直到最后一个全连接层之前的部分）。
第四步：推理——嵌入式决策规则。将最后一个全连接层作为一系列决策规则来运行，这些规则串联起来形成最终预测。
总结而言：传统的可解释性AI无法真正解释神经网络如何实现预测——它们只能解释输入图像对预测的影响，却说不清决策过程本身。决策树虽然能说清过程，但精度损失严重。
NBDT将神经网络与决策树相结合，同时解决了这两个问题：神经网络无法提供理由，决策树无法达到高精度。对于医学、金融等既要求准确又需要可解释的应用场景，NBDT提供了一条新的可行路径。