自动驾驶汽车自动环绕相机校准道路应用

在多摄像头环视系统（AVM）的应用场景中，外部参数的校准精度直接决定了鸟瞰图拼接的质量。如果初始外参存在偏差，传统非线性优化方法很容易被困在局部最优中，尤其是在纹理稀疏的道路场景下。本文介绍的方法提出了一种基于光度误差和由粗到细随机搜索策略的解决方案，能够有效应对较大的初始扰动，在实际场景中展现出了不错的鲁棒性。

1 前言

这项研究的核心在于提出了一种基于光度误差的全自动无目标方法，专门用于道路场景下全景相机的外部参数校准。它采用的由粗到细随机搜索策略，使得即便初始外部参数存在较大误差，也能顺利收敛，而不会像传统方法那样在非线性优化中陷入局部最小值。从模拟数据集到真实道路数据，该方法都表现出了令人满意的校准效果。

具体来说，这项工作的贡献集中在三个方面：

首先，提出了一套全自动、无需校准目标的方法，通过鸟瞰视图重叠区域的光度误差来校准全景相机的外参；其次，引入了由粗到细的随机搜索策略，这个策略不仅能容忍较大的初始偏差，还从根本上跳出了非线性优化容易陷入局部最优的怪圈；最后，在模拟和真实数据集上验证了方法的表现，并基于分析结果开发了实用的校准软件，已开源在GitHub上供社区使用。

2 相关工作

现有的环视系统在线校准方法大致可分为三类：车道线法、里程计法和光度法。车道线法依赖于检测两条平行车道线，这类方法在SVS（环视系统）中往往不适用，因为很多场景下无法稳定提取到足够长的平行车道线。里程计法将校准问题整合进视觉里程计或SLAM系统的优化框架中，但缺点是计算量大、耗时长。光度法则采用直接图像对齐的思路，利用局部亮度信息引导优化步骤——这类方法在稀疏纹理场景下确实表现出更好的鲁棒性，但依然基于非线性优化，面对大的初始扰动时仍然力不从心。因此，要提升校准的鲁棒性和效率，就需要进一步探索更适用于SVS系统的在线校准方法。

3 方法

本节详细拆解了该方法的技术细节，包括纹理关键点提取、优化损失函数的构建，以及由粗到细的求解策略。

3.1 纹理点提取与优化损失

这部分的核心流程是：生成BEV图像、提取具有纹理信息的像素点、将这些像素反投影回原始点云，最后构建优化损失函数。

1）投影模型
投影模型基于相机的姿态和内参矩阵，将地面坐标系中的点投影到相机图像平面上。同时，也可以将BEV图像的坐标反投影回相机坐标系，从而得到原始相机图像上对应的像素坐标。利用这套映射关系，就可以生成每个相机视角下的BEV图像。

2）纹理点提取
纹理点提取的方法是：根据相邻相机的公共视野，借助多视角几何的先验知识和当前的初始外参，将一个相机的BEV纹理像素投影到另一个相机的图像上，然后通过计算光度损失进行优化，最终使两个相机的BEV纹理位置在重叠区域完美对齐。在公共视野区域，通过计算每个像素的光度梯度并与预设阈值比较，可以筛选出具有丰富纹理信息的像素点。此外，如果相邻相机的曝光条件不一致，还需要进行相应的亮度校正处理。

3）计算光度损失
计算光度损失的过程是：将相机A的BEV纹理像素点投影到相机B的图像上，得到对应的像素点，然后计算这两个视图之间的光度差异。将这个差异展开，可以得到光度损失的计算公式：

再结合位姿和相机投影方程，可以进一步展开这个公式：

3.2 由粗到细的求解方案

为实现无缝的车辆环视图像，该方法首先利用前视摄像头，通过消失点和水平线来校准相机到车体的外参。接着，通过递归优化相邻摄像头的光度损失，逐步修正所有其他摄像头的外参。

然而，光度损失对应的图像对齐问题本质上是非凸优化问题，直接使用凸优化技术很难求解。因此，一个合理且稳健的初始外参估计至关重要。正因为如此，这里采用了由粗到精的随机搜索策略：在当前最优参数的邻近范围内随机搜索参数空间，逐步逼近全局最优。这种策略在思路上类似于非线性优化中的梯度下降，但它的优势在于——可以跳出局部极小值。在每个阶段的随机搜索中，通过计算光度损失来评估当前姿态的优劣，并根据评估结果更新最优姿态。经过多轮随机搜索，最终可以得到一个相对最优的姿态，从而生成具有较小光度损失的车辆环视图像。

4 实验

实验部分分为真实实验和模拟实验两块。真实数据采集自无人驾驶车辆测试平台，而模拟数据则基于Carla引擎生成。这种双线并行的实验设计，让方法的性能能够在真实环境和虚拟环境中都得到全面评估。

4.1 实验设置

算法在Ubuntu操作系统上运行，处理器配置为特定型号。数据集方面，使用了Carla模拟数据和真实世界的鱼眼摄像头数据。为了去除自车车身占据的区域，对BEV图像进行了ROI滤波处理。这样的设置为评估和验证算法的性能提供了合适的试验环境。

4.2 定性结果

通过校准内外参，四个相机的投影在BEV中完美拼接，可视化效果非常直观。图5展示的是针孔相机的校准结果，图6和图7则分别展示了鱼眼相机在校准前后的对比效果。

4.3 定量结果

与现有方法对比，该方法的校准精度在环景视图系统的在线外参校正上表现出了明显的优势。当初始误差超过0.3°时，其他方法往往已经无法继续校准，而该方法仍然能够稳定输出较好的结果。实测表明，该算法能够将初始误差控制在3°范围以内。

5 总结

本研究通过采用分级粗到细的随机搜索策略，有效解决了环景视图相机的在线校准问题，克服了传统基于特征或直接法的一些局限性。该方法在处理大畸变和非线性优化问题方面表现良好，并且能够有效应对较大的初始误差。未来的研究方向主要围绕两部分展开：一是优化算法的实时性能，使其更适应嵌入式平台；二是在纹理极其匮乏的环境中进一步提升算法的稳健性。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：自动驾驶汽车自动环绕相机校准道路应用要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题