基于CNN的图像分类策略与优化方法详解

深度神经网络（DNN）能准确识别那些人类看着都费劲的乱码图像，这听起来有点反直觉。但正是这种“反直觉”现象，恰恰暴露了DNN分类策略中一个耐人寻味的秘密——它们很可能在走一条远比我们想象的更简单的捷径。ICLR 2019的一篇论文把这个发现摆到了台面上，结果相当有意思：

• ImageNet的分类难度，可能被严重高估了
• 我们有机会构建出更透明、更好解释的图像分类流程
• 现代CNN中很多奇怪的现象（比如对纹理的执念、对物体部件空间顺序的无视）忽然就说得通了

复古bag-of-features模型

在深度学习还没火起来的年代，自然图像中的物体识别其实挺直白的。大致思路是：先定义一组关键视觉特征（可以理解为“单词”），然后统计每个特征在图像中间出现的频率（这就是所谓的“包”），最后根据这些统计数字来给图像分类。这类模型被称为“特征包”模型，简称BoF。

举个最简单的例子。假设我们要把图像分成“人”和“鸟”两类，手头的视觉特征是“人眼”和“羽毛”。那么BoF模型的工作流是这样的：图像里每出现一只人眼，“人类”证据就加1；每出现一片羽毛，“鸟”证据就加1。最后看谁积累的证据多，就归到哪一类。

这个朴素模型的最大优点是可解释性和决策透明性。你完全可以追踪到：是哪个图像特征给某个类别贡献了证据，而且证据的累加方式极其简单（对比一下深度神经网络里那些深不见底的非线性特征整合，高下立判）。

在深度学习爆发之前，传统的BoF模型一直在演进，而且相当流行。但后来因为分类性能始终跟不上，很快就被冷落了。问题来了——我们凭什么确定，深度神经网络用的决策策略就和BoF模型截然不同呢？

一个很深却可解释的BoF网络（BagNet）

为了验证这一点，研究人员设计了一类新模型，把BoF的可解释性和DNN的高性能捏在了一起。具体做法是：

• 把图像切成小块（q×q像素的patch）
• 用DNN逐一处理每个小块，得到每个patch对于各个类别的证据分数（logits）
• 把所有patch的证据求和，得到整张图像的分类结果

这个策略可以直观地用上图表示：每个patch独立提取类证据，最后简单求和。为实现这种简化，研究人员在标准ResNet-50架构上做了改动——把大多数3×3卷积替换成1×1卷积。这样一来，最后一层卷积的每个隐藏单元只能“看到”图像上很小一块区域（感受野远小于整图大小），避免了显式地切割图像，同时又最大限度地保持了标准CNN的结构。这种模型被命名为BagNet-q，其中q代表最顶层感受野的大小（实验中测试了q=9、17、33）。BagNet-q的运行时间大概是ResNet-50的2.5倍。

结果令人惊讶：即使patch尺寸非常小，BagNet在ImageNet上的表现也相当抢眼。17×17像素的局部特征就能达到AlexNet级别的精度，33×33像素的特征则能逼近87%的top-5准确率。如果再仔细调整一下3×3卷积的放置和超参数，还能更高。

这是第一个重要结论：ImageNet任务，只靠一组小图的局部特征就能搞定。物体形状、部件之间的长程空间关系——这些东西完全可以忽略，任务照样能解决。

BagNet的另一个亮点是决策透明。比如，我们可以直接找出，对某个类别最具预测性的图像特征是什么。

上图展示了正确预测类别（顶行）和误导性错误预测（底行）的典型特征。最上面那张手指被误判为“丁鱥”（一种淡水鱼），原因很简单：这个类别里的大部分训练图像，都有一位渔民像举奖杯一样举着这种鱼。网络根本没看整体场景，只抓住了一个局部模式。

除此之外，BagNet还能生成精确到像素级的热图，告诉你图像的哪些部分推动了神经网络的决策。

这些热图不是近似值，而是每个图像部分对决策的真实贡献。

ResNet-50与BagNets惊人相似

BagNet的实验表明，仅靠局部图像特征和类别之间的弱统计相关性，就足以在ImageNet上达到高精度。那么问题来了：如果这招好使，像ResNet-50这样的标准深度网络，有什么理由去学一套完全不同的东西？如果丰富的局部特征已经能解决问题，为什么它还要费力去理解复杂的形状和大尺度关系？

为了验证“现代DNN很可能在用类似特征包网络的策略”这一假设，研究人员在BagNet的以下几个“签名”特征上，对不同的ResNet、DenseNet和VGG进行了测试：

• 决策对图像特征的空间打乱是否保持不变（仅限VGG模型可测）
• 不同图像部分的修改是否相互独立（就其对总类证据的影响而言）
• 标准CNN和BagNet产生的错误是否具有相似性
• 标准CNN和BagNet是否对类似的图像特征敏感

四个实验的结果出奇一致：CNN和BagNet的行为高度相似。以最后一个实验为例，BagNet最敏感的那些图像区域（遮挡它们会严重影响分类），恰好也是CNN最敏感的区域。事实上，BagNet生成的热图比DeepLift等归因方法直接为DenseNet-169计算的热图，更能准确预测DenseNet-169的灵敏度。

当然，DNN并不完全等同于特征包模型，两者还是存在一定偏差。特别是网络越深、感受野越大，远程依赖性也会越强。但核心分类策略并没有本质改变——更深层的网络只是在简单特征包模型上做了些局部改进罢了。

解释CNN几个奇怪的现象

如果接受CNN的决策本质上是一种BoF策略，很多令人困惑的现象就豁然开朗了。

首先，这解释了为什么CNN对纹理有如此强烈的偏见——因为纹理本身就是一种局部统计特征，正好是BoF策略擅长的。其次，它也解释了为什么CNN对图像部分之间的混乱排列那么不敏感——反正它只看局部patch，彼此之间没什么耦合。甚至连对抗性贴纸和对抗性扰动这类现象，也能一并解释：你在图像里随便放一个误导信号，不管它和周围是否协调，CNN都能可靠地接收这个信号，因为它根本不在意全局语境。

研究结果表明，CNN本质上是在利用自然图像中大量存在的弱统计规律来分类，并没有像人类那样主动将图像局部整合成有意义的物体整体。其他任务和感官模态也类似。

这就逼着我们去认真思考：如何设计架构、任务和学习方法，才能让模型摆脱这种依赖弱统计相关性的趋势？一种思路是改进CNN的归纳偏置，从局部特征偏向更全局的特征；另一种是干脆删除或替换那些不该被依赖的特征。

但最根本的问题可能还是出在图像分类这个任务本身——如果局部特征已经足够解决问题，模型自然就没有动力去学习自然界的真实“物理本质”。要改变这一点，就必须重新设计任务，迫使模型去理解物体的物理因果性。而这很可能需要跳出纯粹的“观察学习”，不再仅仅基于输入和输出之间的相关性来建模，转而引入因果依赖性。

总结

总而言之，我们的实验结果指向一个结论：CNN可能正在执行一种极其简单的分类策略。这项发现很可能在2019年继续成为焦点，因为它暴露了我们对深度神经网络内部运作的理解仍然非常有限。

缺乏理解，就难以从根本上开发出更好的模型和架构来缩小人与机器之间的差距。相反，一旦深化了理解，我们就能找到弥合差距的方法。回报是丰厚的——当我们尝试把CNN的偏置导向物体的更多物理特性时，其噪声鲁棒性已经接近人类水平。

期待在2019年，这个领域能涌现出更多激动人心的结果，最终让我们得到真正理解现实世界物理和因果性质的卷积神经网络。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：基于CNN的图像分类策略与优化方法详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题