计算机视觉九大深度学习技术盘点

过去几年，计算机视觉领域经历了一场静悄悄的革命——从传统的统计方法全面转向深度学习神经网络。虽然这个领域仍然存在不少棘手的问题，但深度学习方法已经在多个特定任务上不断刷新纪录，取得了令人瞩目的成果。

最值得玩味的，其实不是深度学习模型在基础问题上表现有多好，而是单个模型居然能从图像中“理解”语义，并直接完成视觉任务，彻底告别了那些需要手工设计的复杂特征工程。本文就来盘点九个有趣的计算机视觉任务，看看深度学习是如何在这些领域攻城拔寨的。

下面进入正题。

概览

我们将逐一探讨以下九个深度学习驱动的计算机视觉问题：

• 图像分类
• 具有本地化的图像分类
• 目标检测
• 目标分割
• 图像风格迁移
• 图像着色
• 图像重建
• 图像超分辨率
• 图像合成

另外，还会补充一些其他值得关注的问题。需要说明的是，在涉及图像分类（识别）任务时，本文沿用了ILSVRC的命名惯例。虽然这些任务以图像为核心，但同样可以推广到视频帧的处理中。

本文的重点是那些你可能真正关心的最终用户场景，而非单纯追求学术指标上的“更好”。每个任务都会给出问题描述、典型示例，并附上代表性论文的引用，方便你进一步查阅。

图像分类

图像分类，说白了就是给整张图片贴上一个标签。它也被称为“目标分类”，更广义的说法是“图像识别”——不过后者通常涵盖更广泛的内容识别任务。

几个典型的例子：

• 将X光片标记为“癌症”或“非癌症”（二分类）
• 对手写数字进行分类（多分类）
• 给一张人脸照片匹配姓名（多分类）

图像分类的基准数据集，最经典的非MNIST莫属。

而更贴近真实场景的版本，则是街景房屋号码（SVHN）数据集。

在自然图像分类领域，CIFAR-10和CIFAR-100是两个绕不开的名字，分别包含10类和100类照片。ILSVRC（大规模视觉识别挑战赛）则是每年一度的顶级竞技场，团队们在ImageNet子集上比拼多项计算机视觉任务。图像分类领域的许多里程碑式突破都来自这个挑战，比如：

• 使用深度卷积神经网络的ImageNet分类，2012
• 用于大规模图像识别的非常深的卷积网络，2014
• 围绕卷积更深入，2015
• 图像识别的深度残差学习，2015

具有本地化的图像分类

这个任务比单纯分类更进一步：不仅要给图像打标签，还要用边界框标出目标在图像中的位置。你可以理解为“分类+定位”。

实际例子：

• 将X光片标记为癌症，并在癌症区域画个框
• 对场景中的动物照片进行分类，同时框出每只动物

经典的基准数据集是PASCAL视觉目标类数据集（比如VOC 2012），多年来一直是计算机视觉挑战赛的标配。需要注意的是，这个任务可能涉及对同一类目标的多个实例进行框选，因此有时也被称为“目标检测”。

ILSVRC2016提供的本地化数据集包含15万张照片和1000种目标，非常受欢迎。代表性论文有：

• 选择性搜索目标识别，2013
• 用于精确目标检测和语义分割的丰富特征层次结构，2014
• Fast R-CNN，2015

目标检测

目标检测本质上就是“带定位的图像分类”，但图像中可能包含多个需要同时定位和分类的目标。相比前面的任务，难度又上了一个台阶。

常见场景：

• 在街景中，框出并标记每个物体
• 在室内照片中，框出并标记每个物体
• 在风景照中，框出并标记每个物体

PASCAL VOC（如VOC 2012）依然是目标检测的常用数据集。另一个重量级选手是微软的MS COCO（上下文中的公共目标）。

相关论文：

• OverFeat：使用卷积网络的集成识别、定位和检测，2014
• Faster R-CNN：利用区域提议网络实现实时目标检测，2015
• You Only Look Once：统一实时目标检测，2015

目标分割

目标分割（或语义分割）比目标检测更进一步：不是用边界框，而是在图像中精确画出每个检测到的目标的轮廓线。换句话说，它识别的是属于目标的具体像素，是一种细粒度的定位。

更广义的“图像分割”则是指将图像中的所有像素划分到不同类别中。VOC 2012和MS COCO数据集同样适用于目标分割。而KITTI视觉基准套件则提供了自动驾驶场景的街景图像，专门用于训练分割模型。

代表性论文：

• 同步检测与分割，2014
• 用于语义分割的全卷积网络，2015
• 用于目标分割和细粒度定位的超列，2015
• SegNet：用于图像分割的深度卷积编码器-解码器架构，2016
• Mask R-CNN，2017

风格迁移

风格迁移（或神经风格迁移）的任务是从一张或多张图像中学习其风格，然后将这种风格应用到另一张新图像上。你可以把它看作一种没有客观评价标准的照片滤镜或变换。

最经典的例子：把毕加索或梵高某幅名画的风格，迁移到一张普通照片上。数据集通常使用公共领域的知名艺术作品，配合标准计算机视觉数据集中的照片。

两篇奠基性论文：

• 艺术风格的神经算法，2015
• 使用卷积神经网络的图像风格迁移，2016

图像着色

图像着色（或神经着色）的任务是将灰度图像转换为全彩色图像。同样，它也是一种没有客观评价标准的照片变换。

典型应用：给老照片和黑白电影上色。数据集通常利用现有照片，创建灰度版本让模型学习如何还原颜色。

代表论文：

• 彩色图像着色，2016
• Let there be Color：用于同步分类的全局和局部联合端到端自动图像着色，2016
• Deep Colorization，2016

图像重建

图像重建（或图像修复）的任务是填充图像中缺失或损坏的部分。同样属于没有客观评价标准的照片变换。

典型应用：修复老旧、破损的黑白照片或电影（比如照片恢复）。数据集通常使用现有照片，人为制造损坏版本让模型学习修复。

相关论文：

• Pixel Recurrent Neural Networks，2016
• 使用部分卷积的图像修复不规则孔洞，2018
• 通过带通滤波的深度神经网络实现高可扩展图像重建，2018

图像超分辨率

图像超分辨率的目标是生成一张比原图分辨率更高、细节更丰富的新图像。由于超分辨率模型与图像恢复、修复任务高度相关，很多技术可以复用。

数据集通常利用现有照片，制作低分辨率版本，让模型学习生成超分辨率结果。

代表性论文：

• 使用生成对抗网络的照片级真实感单图像超分辨率，2017
• 用于快速准确超分辨率的深度拉普拉斯金字塔网络，2017
• Deep Image Prior，2017

图像合成

图像合成是一个相当宽泛且快速发展的领域，既包括对现有图像进行局部修改（如图像到图像的翻译），也包括生成全新的图像。

修改类示例：

• 改变场景中物体的风格
• 在场景中添加物体
• 在场景中添加人脸

生成类示例：

• 生乘人脸
• 生成浴室场景
• 生成服装

相关论文：

• 用深度卷积生成对抗网络学习无监督表示，2015
• 使用PixelCNN解码器生成条件图像，2016
• 使用循环一致对抗网络进行非成对图像到图像转换，2017

其他问题

还有一些重要且有趣的问题，虽然不属于纯粹的计算机视觉任务，但也值得关注。比如图像到文本和文本到图像：

• 图像字幕：为图像生成文本描述。代表作：Show and Tell：神经图像标题生成器，2014
• 图像描述：为图像中每个物体生成文本描述。代表作：用于生成图像描述的深层视觉语义对齐，2015
• 文本到图像：基于文本描述合成图像。代表作：AttnGAN：使用注意力生成对抗网络生成细粒度文本到图像，2017

可以想象，未来人们还会在其他模态与图像之间建立映射，比如音频与图像之间的转换。

总结

本文梳理了深度学习在计算机视觉领域应用的九个典型任务，从基础的图像分类到复杂的图像合成，每个方向都有大量值得深入研究的成果。希望这份清单能帮你快速建立全局视野，找到自己感兴趣的方向。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：计算机视觉九大深度学习技术盘点要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题