YOLO系列v1至v7神经网络模型演进历程

经典回顾：本文从YOLOv1到YOLOv3，系统梳理YOLO系列目标检测算法的演进脉络。

如果你需要快速的目标检测器，YOLO系列神经网络模型已经成为行业标准。当然，优秀的检测模型不止于此，但本文专注于YOLO这一主线，深入剖析其发展历程。

目前已有不少文章分析YOLO各版本的功能，但本文旨在对整个YOLO家族进行横向对比。通过梳理架构演变，我们可以更清晰地了解目标检测器如何逐步进化、哪些改进真正提升了性能，并推测未来的发展方向。

在YOLO诞生之前，检测图像中目标的主流方法是使用不同尺寸的滑动窗口，依次遍历原始图像的各个区域，由分类器判断每个区域内的物体。这种方法逻辑可行，但速度极慢。

后来，研究者提出了“感兴趣区域”机制，先假设图像中可能存在目标的位置，但候选区域仍有数千个。最快的Faster R-CNN算法平均每张图需要0.2秒，即每秒5帧。在新方法出现之前，速度始终是瓶颈。

那么，新方法的突破点究竟在哪里？

在传统方法中，原始图像的每个像素可能被神经网络处理上百次甚至上千次，每次都重复相同计算。能否避免这种重复？事实证明可以。但代价是重新定义问题：从分类任务转变为回归任务。

YOLO（又称YOLOv1）

作者

Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi

主要论文

“You Only Look Once: Unified, Real-Time Object Detection”论文，发布于2015年6月

性能比较

在Pascal VOC 2007数据集上的实时系统对比中，YOLO是有记录以来最快的检测器，其准确率是其他任何实时检测器的两倍。

结构

YOLO模型的结构由以下部分组成：

• input——输入图像被送入的输入层
• backbone——将输入图像编码为特征的部分
• neck——处理编码后特征的其余部分
• head——生成模型预测的一个或多个输出层

YOLOv1网络基于GoogLeNet架构，由卷积层与MaxPool层级联，最后连接两个全连接层。此外，作者还训练了更快的Fast YOLO变体，仅使用9个卷积层（而非24个）。两个模型输入分辨率均为448×448，但骨干网络先在224×224分辨率下通过分类任务进行预训练。

在该结构中，原始图像被划分为S×S个单元格（原始版本为7×7）。每个单元格预测B个边界框、这些框内存在目标的置信度，以及C个类别的概率。单元格数量为奇数，使得图像中心恰好落在一个单元格内——这比偶数有优势，因为照片中心通常包含主要目标，因此主要预测集中在中心单元格。若区域数为偶数，中心可能落在四个中央区域中的某个位置，从而降低网络置信度。

置信度值表示模型对给定边界框包含目标的把握程度，以及边界框预测位置的准确度——实际上是IoU与目标存在概率的乘积。如果单元格内没有目标，则置信度为零。

每个边界框由5个参数组成：x、y、w、h和置信度。(x, y)是边界框中心相对于单元格的坐标，w和h是边界框相对于整张图片的归一化宽度和高度（范围0到1）。置信度是预测边界框与真实框之间的IoU。每个单元格还预测C个条件概率（类别归属）。注意，每个单元格仅预测一组类别，不随边界框数量变化。

因此，一次前向传播会预测S×S×B个边界框。其中大部分框的置信度较低，但通过设置阈值可以过滤掉大量框。最重要的是，与竞争对手相比，检测速度提升了几个数量级——这得益于所有类别和所有边界框只需一次预测。根据实现不同，原始论文报告的FPS在45到155之间。虽然mAP精度相比之前算法有所下降，但许多场景下实时检测更为重要。

得到检测框

由于与物体中心相邻的单元格也可能生成边界框，导致框数量过多，需要筛选出最优结果。这里采用非极大值抑制（NMS）技术：首先丢弃置信度低于阈值的边界框，然后对剩余框进行IoU两两比较——若两个框的IoU > 0.5，则丢弃置信度较低的那个；否则两个都保留。这样，相似的框便被抑制。

损失函数

损失函数为组合形式：第一项为目标中心坐标的损失，第二项为边界框尺寸的损失，第三项为目标类别损失，第四项为当目标不存在时的类别损失，第五项为框中存在目标的概率损失。需要lambda系数防止置信度变为零（因为大多数单元格中没有目标）。符号1(obj,i)表示目标中心是否出现在单元格i中，1(obj,i,j)表示单元格i中的第j个边界框负责该预测。

优势

• 高速检测
• 泛化能力优于当时竞争对手——在跨领域测试（使用ImageNet训练）时表现更优
• 图像背景误报率更低

局限性

• 每个单元格仅2个边界框和1个类别，导致小物体识别能力较弱
• 原始图像多次连续下采样导致精度不足
• 损失函数对大框和小框的误差给予同等惩罚，虽然作者尝试通过尺寸开根来补偿，但未能完全消除影响

YOLOv2 / YOLO9000

作者

Joseph Redmon, Ali Farhadi

主要论文

“YOLO9000: Better, Faster, Stronger”论文，发布于2016年12月

性能比较

在Pascal VOC 2007数据集上的检测框架对比中，YOLOv2比之前的检测方法更快、更准确。它还可以在不同分辨率下运行，在速度和精度之间灵活权衡。每个YOLOv2条目实际上是用相同权重、相同训练模型，仅以不同尺寸进行测试。所有计时信息均在Geforce GTX Titan X上测得。

结构特点

作者对v1做了若干改进：

• 删除了dropout，在所有卷积层中加入批量归一化（BN）。
• 预训练时使用448×448的分类器（v1为224×224），然后最终网络缩放到416×416输入，以产生奇数个13×13单元。
• 删除了全连接层，改用全卷积和锚框来预测边界框（类似Faster RCNN），减少空间信息损失。
• 删除了一个最大池化以增加特征细节（分辨率）。v1每张图仅98个边界框，v2用锚点后超过1000个边界框，mAP略有下降但召回率显著提升，整体准确性得以提高。
• 维度先验：边界框的大小和位置不再像Faster RCNN那样随机手动选择，而是通过k-means聚类自动选择。由于小边界框用欧氏距离的标准k-means会导致检测误差更高，因此改用1 - IoU(box, 质心)作为距离度量。聚类数目选为5个作为折中，测试表明5个质心的平均IoU与9个锚点大致相当。
• 直接位置预测：最初锚点的中心坐标预测存在不稳定问题——网络权重随机初始化，坐标预测是线性的，没有大小限制。因此不再预测相对于锚中心的偏移（系数范围[-1,1]），而是预测边界框相对于单元格中心的偏移（范围[0,1]），并用sigmoid限制。网络为每个单元格预测5个边界框，每个边界框有5个数字：tx, ty, tw, th, to。边界框的预测参数计算如公式所示：

具有维度先验和位置预测的边界框。宽度和高度预测为聚类质心的偏移量，中心坐标偏移用sigmoid函数约束。

• 细粒度特征：特征图现在为13×13。
• 多尺度训练：由于网络是全卷积的，改变输入图像的分辨率即可动态调整网络分辨率。每10个batch更换一次输入分辨率（从集合{320, 352, ..., 608}中选，因为网络缩小32倍）。网络大小从320×320调整到608×608，提高了鲁棒性。
• 加速：v1的骨干VGG-16太重，v2改用Darknet-19：

训练分类器后，从网络中删除最后一个卷积层，添加三个有1024个滤波器的3×3卷积层和一个最终1×1卷积层（输出检测所需数量）。以VOC为例，需要5个边界框，每个边界框有5个坐标，每个边界框有20个类，总共125个滤波器。

• 分层分类：v1中类别属于同一层级且互斥，v2引入了WordNet树结构（有向图）。每个类别中的类互斥，有各自的softmax。例如，如果图片显示已知品种的狗，网络会返回狗和特定品种的类；如果是未知品种的狗，只返回狗的类别。由此训练了YOLO9000——使用3个先验（而非5个）和9418个目标类。

ImageNet vs WordTree上的预测。大多数ImageNet模型用一个大的softmax预测概率分布。使用WordTree，我们对共同下义词执行多个softmax操作。

使用WordTree层次结构合并数据集。通过WordNet概念图构建视觉概念分层树，将数据集中的类映射到树中的合成集来合并数据集。

优势

• 在速度和mAP方面均达到当时的SOTA
• 小物体检测能力明显提升

YOLOv3

作者

Joseph Redmon, Ali Farhadi

主要论文

“YOLOv3: An Incremental Improvement”论文，发布于2018年4月

性能比较

YOLOv3的运行速度明显快于其他性能相当的检测方法。测试基于M40或Titan X（基本是同级别GPU）。

结构

这是一个增量更新版本——没有根本性变动，只有一组改进技巧：

• 每个边界框的置信度得分（给定边界框中存在目标的概率）改用sigmoid计算。
• 从多类分类切换到多标签分类，去掉softmax，改用二值交叉熵。
• 在三个尺度上预测边界框，输出张量大小为N×N×(3×(4+1+num_classes))。
• 用k-means重新计算先验框，在三个尺度上得到9个边界框。
• 新的更深、更准确的骨干网络Darknet-53：

在精度上与ResNet-152相当，但由于更高效地使用GPU，运算量少了近1.5倍，FPS提高了2倍。

总体结构

不起作用的方法

• 边界框坐标位移预测用线性激活函数（而非logistic）——效果不好
• focal loss——mAP下降了2个点
• 用双IoU确定GT（类似Faster R-CNN中>0.7为正样本，0.3-0.7忽略，<0.3为负样本）——无效

优势

• 发布时检测精度高于竞争对手
• 发布时检测速度高于竞争对手

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：YOLO系列v1至v7神经网络模型演进历程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题