基于神经架构搜索的网络模型自动设计与优化研究

图像分类这个活儿，说穿了就是给计算机一张图，让它用算法判断出这张图属于哪个类别。比如给一张猫的图片，它得说出“猫”这个标签。整个过程通常包括三步：先把图像预处理一下，再提取出关键特征，最后交给分类器去判别。而特征提取这一步，可以说是整个流程的灵魂所在。 深度学习作为机器学习的一个重要分支，擅长把底层的原始特征一层层组合成更抽象的高层特征，在计算机视觉、自然语言处理这些领域早已成为不可或缺的技术支柱。 ### 深度卷积神经网络模型 基于近年来DCNN（深度卷积神经网络）在图像分类上的研究进展和方向，本文把主流模型归为以下四类： - **经典深度卷积神经网络**：以增加网络深度、提升性能为核心目标； - **基于注意力机制的模型**：通过注意力机制让网络更聚焦于感兴趣的区域； - **轻量级模型**：通过改进结构降低参数量，以适配嵌入式或移动端设备； - **基于神经架构搜索的模型**：用神经网络自动设计DCNN结构，和人工设计相比省时省力。 ### 经典的深度卷积神经网络模型 #### 从 LeNet 到 GoogLeNet LeNet（LeCun等，1998）是最早的卷积神经网络模型，主要用于MNIST数据集上的手写数字识别。它包含3个卷积层、2个池化层和2个全连接层，每个卷积层和全连接层都有可训练的参数，为后来的深度卷积神经网络打下了基础。  AlexNet则更进一步，由5个卷积层和3个全连接层组成，输入图像经过卷积和全连接处理，最后接入一个1000节点的Softmax分类器完成分类。它引入ReLU作为激活函数，用局部响应归一化来缓解梯度消失，同时通过数据增强和Dropout技术大大减轻了过拟合问题。  提升网络性能最直接的方法就是增加深度，但深度一上来，参数量跟着暴涨，过拟合的风险和计算资源的需求也会同步增加。GoogLeNet采用Inception-v1模块，用稀疏连接降低了参数量，同时保证了计算效率，在深度达到22层的情况下依然保持出色性能。Inception-v1包含4条并行支路：在3×3、5×5卷积之前各加一个1×1卷积，在3×3最大池化之后也加一个1×1卷积，这些1×1卷积的作用就是减少参数量。  Inception-v2引入了BN层，并把5×5卷积拆成两个3×3卷积，进一步压减参数量。Inception-v3则又往前推了一步，做了非对称卷积分解——比如把n×n卷积拆成1×n和n×1的串联，n越大，参数减少得越明显。 #### ResNet 家族 ResNet由堆叠的残差块构成。残差块除了常规的权重层，还通过一个越层连接直接把输入x加到输出上，这种设计让网络可以训练得更深。  ResNet靠着堆叠残差块把网络深度推到了152层，在图像分类任务上大获成功。它的变体大致可以分成四类：深度残差网络优化、采用新训练方法、基于增加宽度的变体、以及采用新维度的变体。  #### DenseNet 家族 DenseNet由密集块组成，每个密集块采用前馈方式，把所有层都连起来——每一层都从它前面所有层接收输入，同时把自己的输出特征图传给后面的所有层。这种设计大大增强了特征的重用。  ### 使用注意力机制的网络 人类看一幅图像时，会先扫一眼全局，然后快速把注意力集中在最有价值的细节上，忽略那些不重要的区域。SE block做的事情就是这个——它显式地建模通道之间的相互依赖关系，重新校准通道的特征响应：有用的通道特征被增强，没用的被抑制。  CBAM模块则更进一步，它包含通道注意力模块和空间注意力模块两部分。输入特征图先进入通道注意力模块，分别用平均池化和最大池化聚集空间信息，生成两个空间内容描述符；这两个描述符再通过一个共享网络，产生通道注意力图。 ### 轻量级网络 轻量级网络的特点是参数量小、计算复杂度低。典型的代表有SqueezeNet、Xception、MobileNet系列和ShuffleNet系列等。SqueezeNet由fire module组成，每个module分为挤压卷积层（只含1×1卷积）和扩展卷积层（包含1×1卷积和3×3卷积）。MobileNetV1则使用了深度可分离卷积，并提出了两个超参数——宽度乘数α和决议乘数ρ，这样就能根据不同的应用场景选择不同规模的模型。 ### 架构搜索的网络模型 NAS（神经架构搜索）方法大致可归为三类：基于不同搜索空间设计的NAS方法、基于模型优化的NAS方法，以及其他改进的NAS方法。 ### 图像分类数据集 #### MNIST数据集 MNIST用来识别手写数字，数据来自NIST数据集的SD-1和SD-3，包含二进制格式的手写数字图像。有意思的是，NIST原计划把SD-3作为训练集、SD-1作为测试集，但后来发现SD-3（来自人口调查局雇员）比SD-1（来自高中生）更容易识别。到了LeNet-5实验中，训练集改为完整的60000幅图像，测试集则是新测试集的子集，共10000幅。 #### ImageNet数据集 ImageNet包含超过1500万幅带标签的高分辨率图像，覆盖约22000个类别。这些图像从互联网收集，并通过亚马逊的机械土耳其众包工具由人工标注。深度卷积神经网络模型在ImageNet上训练和测试时，通常以top-5错误率和top-1错误率来衡量性能。1000个类别下，每幅图像同时预测5个标签，只要其中一个是正确标签就算卦中。 #### CIFAR数据集 CIFAR-10包含60000幅32×32像素的彩色图像，分10个类别，每类6000幅。训练集50000幅，测试集10000幅——测试集每个类别取1000幅，剩下的归入训练集。CIFAR-100与之类似，只不过类别数增加到100个，每类600幅图像（500幅训练，100幅测试）。 #### SVHN数据集 SVHN（街景门牌号数据集）用于检测和识别街景图像中的门牌号，从大量街景图像中裁剪出门牌号，共超过60万幅小图像。数据有两种格式：一种是完整的数字图像（原始、可变分辨率、彩色，包含数字转录和字符级边框）；另一种是裁剪后的数字图像，统一调整为32×32像素。数据集分为三个子集：73257幅训练图像、26032幅测试图像，以及531131幅难度稍低的额外训练数据。