助力自动驾驶：行车检测和车道线分割

该项目着眼于基于视觉深度学习的自动驾驶场景，旨在对车载摄像头采集的视频数据进行道路场景解析，为自动驾驶提供一种解决思路。利用轻量级检测模型PP-PicoDet完成车辆检测，并利用DeepLabv3p实现车道线分割，二者各司其职，并且在硬件支持下可以完全并行，最终将推理结果进行合并，实现一种高效高精度的道路场景解析方式。

助力自动驾驶：行车检测和车道线分割

一、项目简介

项目背景：

项目意义：

首先，在行车检测方面，现有检测模型可以实现多种类型的车辆检测，然而，一方面，检测模型在速度和精度上存在矛盾，对于精度较高的模型，如两阶段检测网络Faster R-CNN，其FPS较低，无法满足实时检测，因此其商用价值受到很大限制。另一方面，对于道路场景的目标检测，许多数据集会对场景中很多类型的目标进行标注，然而，经过我们的实践和观察，使用这种数据集训练模型并不能带来很好的效果。由于目标类别本身存在多样性，例如各式各样的货车，电瓶车，亦或是各式各样的路标和交通灯等，这会对模型的学习造成混淆，最终导致模型在现实场景中对很多目标造成误判，极大的影响模型在现实中的应用。为解决这两个问题，我们在本项目中使用飞桨开源的轻量检测网络PicoDet作为检测模型，在检测速度和检测精度上实现了较好的权衡。另外，我们对大规模道路场景数据集的标签进行了重构处理，仅学习数据集中的汽车类型，保证足以商用的准确率和召回率，对于其他类别，暂时当做背景类，后续可以再使用初始模型重新对背景类中的部分或全部目标进行训练，让不同模型各司其职，专注于不同目标来降低错误率，提高泛化能力。

其次，在车道线分割方面，传统的基于low-level的图像处理方式对外界环境十分敏感，不同的天气情况或者夜间照明环境会极大影响车道线的分割结果。我们认为这是由于这种车道线的分割方法并未借助图像中的其他语义信息，实际上，我们在识别车道线时，并不是直接寻找相应的颜色差别，而是先“凭感觉”确认车道线的大体位置，再进一步根据颜色来判断。因此，本项目使用语义分割原理实现车道线的分割，借助语义分割模型DeepLabv3p在大规模数据集上进行训练，最终实现高精度的车道线分割。

效果演示：

b站视频地址

二、数据集介绍

数据集地址：BDD100K 自动驾驶数据集

视频数据： 超过1,100小时的100000个高清视频序列在一天中许多不同的时间，天气条件，和驾驶场景驾驶经验。视频序列还包括GPS位置、IMU数据和时间戳。

道路目标检测：2D边框框注释了100,000张图片，用于公交、交通灯、交通标志、人、自行车、卡车、摩托车、小汽车、火车和骑手。

实例分割：超过10,000张具有像素级和丰富实例级注释的不同图像。

引擎区域：从10万张图片中学习复杂的可驾驶决策。

车道标记：10万张图片上多类型的车道标注，用于引导驾驶。

三、技术路线

1、PaddleDetection简介：

PaddleDetection是飞桨推出的端到端目标检测开发套件，旨在帮助开发者更快更好地完成检测模型的训练、精度速度优化到部署全流程。PaddleDetection以模块化的设计实现了多种主流目标检测算法，并且提供了丰富的数据增强、网络组件、损失函数等模块，集成了模型压缩和跨平台高性能部署能力。目前基于PaddleDetection已经完成落地的项目涉及工业质检、遥感图像检测、无人巡检等多个领域。

PaddleDetection模块式地提供YOLOv3，EfficientDet等10余种目标检测算法、ResNet-vd，MobileNetV3等10余种backbone，以及sync batch norm, IoU Loss、可变性卷积等多个扩展模块，这些模块可以定制化地自由组合，灵活配置；同时预置提供100余种训练好的检测模型。

在YOLOv3系列模型上，通过一键式剪裁+蒸馏的方案，YOLOv3_MobileNetV1剪裁了近70%的计算量，在精度基本无损或略有提升的情况，模型在高通855芯片上加速2.3倍，GPU上也有60%的加速；YOLOv3-ResNet50vd-DCN剪裁模型，精度提升了0.6，GPU上加速20%。同时，对应压缩后的模型、压缩脚本和操作方法均可以在Github上获取。

2、模型库链接：

PaddleDetection代码GitHub链接：https://github.com/PaddlePaddle/PaddleDetection

PaddleDetection代码Gitee链接：https://gitee.com/paddlepaddle/PaddleDetection

PaddleDetection文档链接：https://paddledetection.readthedocs.io/

四、轻量检测器PP-PicoDet

PP-PicoDet模型有如下特点：