人类视觉与机器视觉的相似性究竟有多大

深度神经网络（DNNs）已经全面渗透进我们的日常生活——无论是图像识别、机器翻译，还是精准医疗等前沿领域，都能看到它们的身影。

更令人着迷的是，这些人工神经网络与人脑之间存在着诸多共性：不仅都能有效解决复杂任务，在结构上也同样具备层级化的神经元组织。既然两者如此相似，一个自然的问题便浮现出来：人类视觉与机器视觉究竟有多相似？我们能否通过研究机器视觉来理解人脑的工作机制？反过来，人脑的认知机制又能给机器视觉带来哪些启示？这些问题驱使我们开始系统性地比较这两个神奇的感知系统。

比较研究无疑具有重要价值，但实际操作并不简单。两个系统之间存在显著差异，稍有不慎就可能得出误导性结论。因此，在DNNs与人脑之间进行严谨对比时，必须保持高度谨慎。

论文地址：https://arxiv.org/pdf/2004.09406.pdf

在《比较人类和机器感知中最难攻克的困难》这篇论文中，作者重点指出了三个最常见的陷阱：

• 人们往往急于下结论，认为机器学习已经掌握了与人类类似的行为——好比看到动物脸上有类似表情，就断定它也会快乐或悲伤。
• 从特定的测试架构和训练过程中，很难推导出一般性结论。
• 比较人与机器时，实验条件必须完全对等，但这一点经常被忽略。

陷阱1：人们总是过于急切地得出结论：机器学习能够学会和人类类似的行为

先来做个小实验：下面这张图里，有没有闭合轮廓？

那这张呢？

你可能一眼就判断出来：两张都有闭合轮廓。依据格式塔理论，人类正是依靠这种“轮廓整合”能力，从全局信息中理解物体的意义。局部信息不够充分，必须依赖整体感知。

我们原本猜测，卷积神经网络难以完成全局轮廓整合——因为卷积层大量处理局部信息，全局能力相对较弱，形状识别也不如纹理处理那么擅长（相关研究可参考Geirhos等人2018年的工作，以及Brendel和Bethge 2019年的工作）。

于是我们用下面这组闭合和开放轮廓的图像训练模型：

为了测试DNN能否根据有无闭合轮廓来分类，我们专门构建了一个数据集。

结果出乎意料：训练后的模型几乎完美地完成了任务——它能很轻松地分辨出图像里有没有闭合轮廓。下图展示了准确率，1表示全对，0.5表示随机乱猜。

这难道意味着DNNs也能像人类一样轻松完成全局轮廓整合？如果是这样，哪怕换一批全新的图像，它也应该能表现不错。

顺着这个逻辑，我们又用分布外（OOD）图像来测试——这些图形的轮廓包含更多边缘，线条也从直线变成了曲线。这样做是为了看清模型是真学会了“闭合”这个概念，还是仅仅捕捉到了图像里的统计线索（比如闭合和开放图形的黑白像素数量不同）。

让人欣喜的是，模型在新的图形上依然表现出色，泛化能力看起来不错。

此时我们几乎就要下结论：DNNs确实学会了“闭合”这个抽象概念。然而，故事还没完。当我们改变线条的颜色或粗细时，模型的准确率直接掉到了50%左右——跟瞎猜没什么区别。

这就逼着我们去追问：模型到底学到了什么策略？

我们最初假设任务需要全局信息，于是用一个只能访问局部区域的模型（BagNet）来测试。有趣的是，哪怕提供给它的图块比闭合轮廓还小，模型依然表现良好。这说明整体信息根本不是必需的——模型可能只是利用局部特征，比如某些线段的长度，就给分类提供了足够线索。

作为人类，我们总倾向于认为自己设计的任务就按自己理解的规则被解决。但在这个案例中，我们以为只有轮廓整合才能解决闭合轮廓识别，结果模型用了更简单的局部策略，完全出乎意料。在比较人脑和机器时，这一点必须牢记——DNNs总能找到我们意想不到的解法。为了避免带着偏见下结论，彻底检查模型决策过程和数据集，是非常必要的。

陷阱2：很难得出超出测试架构和训练过程的一般性结论

下面这两张图来自合成视觉推理测试（SVRT，Fleuret等人2011年的工作），你能看出规律吗？

SVRT数据集包含23个问题，分两类：一类叫“相同-不同任务”，需要判断形状是否相同；另一类叫“空间任务”，需要根据形状的空间排列（比如一个形状是否在另一个形状的中心）做出判断。人类通常只看几个示例就能学会规则，然后正确分类。

曾经有两个研究小组用SVRT测试DNNs，结果发现模型在空间任务上表现很好，在“相同-不同任务”上却很差。Kim等人在2018年甚至提出，人类大脑中的反馈机制（比如周期性连接）对完成相同-不同任务至关重要，暗示前馈网络天生不擅长这类任务。

这些结论被广泛引用，似乎成了定论——DNNs确实不擅长相同-不同任务。但接下来的实验会证明，事实并非如此。

Kim等人用的DNNs只有2-6层，而现代用于对象分类的DNNs比这大得多。我们想知道更标准的DNNs会不会也有同样问题，于是用ResNet-50重复了实验。

结果很有意思：ResNet-50在所有任务（包括相同-不同任务）上都达到了90%以上的准确率，而且我们只用了28000张训练图像（Kim等人用了100万张）。这说明前馈神经网络完全有能力在相同-不同任务上达到高精度。

我们还做了一个实验：只给1000个训练样本。此时空间任务依然准确率很高，但相同-不同任务的准确度下降了。这是否意味着相同-不同任务更难？我们认为不能这么下结论。学习速度很大程度上取决于系统的初始条件。人类不是从零开始学视觉的——我们拥有终身学习的经验积累。如果人类视觉系统也从零开始训练，很可能在样本效率上表现出和ResNet-50类似的差异。

这个案例给我们的启发是：第一，千万别轻易下结论说DNNs做不了某个任务，因为训练DNN本身就很复杂，性能极度依赖架构和训练细节。第二，要明白DNNs和人类有不同的初始条件，尤其是在数据很少的场景下做比较时，更要小心。总之，想得出超越特定架构和训练过程的一般性结论，必须慎之又慎。

陷阱3：在比较人和机器时，实验条件应该是完全相同的

请看下面左边这张图，一眼就能看出是一副眼镜。稍微裁剪一下，依然清晰。可继续裁剪到某个时刻，突然就认不出来了。我们把大多数人（比如90%）还能正确识别的那个临界裁剪叫做“最小可识别裁剪”，而略小一点、只有少数人（比如20%）能认出的那个叫做“最大不可识别裁剪”。两者可识别比例的差值，就是“可识别差”（Ullman等人2016年提出）。下图中可识别差就是0.9 - 0.2 = 0.7。

Ullman等人找出了人类仍能辨认物体图像的最小部分，并测试了机器视觉算法是否也有同样明显的差距。结果发现机器算法的可识别差小得多（等于0.14），于是他们得出结论：机器与人类视觉系统功能不同。

在我们的工作中，我们重新审视了这个实验，但做了一个关键改变：我们让机器在被它自己选择的图块上进行测试，而不是在人选的图块上。具体来说，我们利用先进的深度卷积神经网络实现了一种搜索算法，模仿人类的实验流程。这样，机器在自己能发挥优势的区域被评估——就像人类在自己选定的图块上被评估一样。

结果发现，在这些条件下，我们的神经网络同样显示出了很大的可识别差——与人类的实验结果相当。对比下图就可以看清：左边是Ullman论文里人类和机器在人选图块上的差异，右边是我们用机器选图块后机器呈现出的可识别差。

这个案例清楚说明：测试条件必须对等，否则很容易得出错误的比较结论。

总结一下，这三个案例研究凸显了比较人类和机器感知时的几大难点：确认偏差会导致对结果的错误解释；从特定的体系结构和训练过程里很难归纳出一般性结论；测试条件不对等会带来错误决策。在进行严谨的人机比较时，我们必须保持警惕，尽量把自己那些习以为常的人类偏见减到最少。只有这样，人工智能和人类之间的比较研究才能真正富有成效。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人类视觉与机器视觉的相似性究竟有多大要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题