自动驾驶道路异常检测方法详解

Residual Pattern Learning: 在不影响模型闭集表现的情况下分割异常物体

Out-of-Distribution (OoD) Segmentation，简单说就是在已有闭集分割器的基础上，让模型具备识别异常物体的能力。目前SOTA方法几乎都依赖于重新微调或重训练整个闭集分割网络——这会导致原本inlier物体的分割性能下降。更棘手的是，大多数OoD方法很难在不同环境下稳定发挥，异常检测的性能在不同场景下可能判若云泥。

今天介绍一个ICCV 2023中稿的工作：Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection in Semantic Segmentation。这项研究专门针对上述两个问题做了优化，并且用一个统一的checkpoint在所有数据集上都拿到了非常亮眼的表现。

背景

语义分割模型的任务是给每个像素分配到预设的In Distribution (ID) 类别中。但一旦部署到开放世界，可靠性就不光取决于对ID像素的分类能力，更要看能否检测出那些Out-of-Distribution (OoD) 像素。举个自动驾驶的例子：路上突然出现一个障碍物（比如路障），传统的闭集语义分割压根儿没学过这个类别，结果很可能把它误判成“road”之类的常见类别——这对行车安全是潜在的致命威胁。

OoD Segmentation方向概述

目前主流思路分两条路走。

1) 锁网络：最直接的做法——直接用softmax或energy的输出来判断，把分割输出的mask里置信度低的像素视为OoD。好处很明显：不影响ID分割性能，也不需要训练。但一旦碰到复杂的inlier或outlier，性能就会急转直下。正如图(a)所示。

2) 重新训练：近期的做法主要靠Outlier Exposure (OE)：把不相干的OoD数据集混进ID数据集，然后微调已经训好的闭集分割模型。微调过程中，借助新加入的OoD样本强行提升模型对异常的敏感度，OoD分割性能确实涨了一大截。但代价是原ID类别的分割性能会受到不可逆的干扰，如图(b)所示。

受这两点启发，我们希望在不破坏inlier分类性能的前提下，得到一个稳定又高效的OoD分割器。

方法

1) Residual Pattern Block (RPL)

和以往的微调/重训练思路不同，我们在原分割网络上外接了一个轻量的RPL模块（记为frpl），原分割模型全程锁住不动。核心逻辑是：frpl模块对ID像素不做任何干预，但对潜在的OoD像素施加一个扰动，让对应的置信度大幅下降，最终通过energy map来判定异常。

训练时，先用原网络生成y_tilde（即ID伪标签）：

然后用RPL扰动后的网络结果：

对ID像素，我们用cross-entropy来做惩罚，确保RPL不干扰它们。对OE中的OoD样本，则用一个Energy loss来约束其能量：

整个训练过程中，RPL不会损伤原分割模型的性能，同时能高效地把潜在的OoD像素揪出来。

2) Context-Robust Contrastive Learning (CoroCL)

一个令人头疼的问题是：现有的OoD分割器在不同场景下表现极不稳定。比如大多数分割器在城市场景里检测异常物体游刃有余，但一换到乡村环境（context）就集体失效。

为了解决跨场景鲁棒性的问题，我们引入了监督对比学习。在RPL的基础上多加一层projection layer，并随机抽取四种样本：

• ID场景里的inlier像素
• ID场景里的OoD像素

• OoD场景里的inlier像素
• OoD场景里的OoD像素

通过InfoNCE loss，我们将不同场景中的inlier像素拉近，同时把OoD像素推远：

实验

1) Test Results

可视化结果见wandb: https://wandb.ai/yy/RPL?workspace=user-pyedog1976

我们在多个benchmark上拿下了最稳定的结果，FPR比之前的SOTA提升了超过10个点，AuPRC提升了20个点。

2) Ablation Study

消融实验中，我们先比较了用entropy和用energy作为loss的效果；然后对比了RPL和直接使用一个二值OoD检测器（最后一行）。RPL与Energy的组合带来了稳定的提升。不过RPL在不同context下也存在旧OoD分割的通病：在FS-StaticL&F这类城市环境下表现优异，但在Anomaly&RoadAnomaly等其他benchmark上就急转直下（25.65 & 17.74）。CoroCL很好地缓解了这个问题。

2.1) Ablation of RPL

上表对比了原闭集分割模型的mIoU [39] 和其他基于retraining的OoD方法 ([3], [9], [31]) 在闭集上的表现。我们的方法以及freeze model方法 [13] 在ID数据集上完全没变，但我们的OoD检测性能却显著更好（如第1节所示）。

另外，RPL block还能为其他OoD方法在所有benchmark上带来进一步的提升。

2.2) Ablation of CoroCL

我们测试了不同的anchor set与contrastive set组合。最终发现，当anchor set为Inlier+OE、contrastive set为全部种类时效果最好。在这种组合下，InfoNCE会将互相拉近，推远，但并不会把两种OoD拉近。

3) The Learned RPL Feature

我们用self-attention（torch.einsum('abc,bca->bc', r, r.permute(1,2,0))）来可视化RPL输出中学到的OoD pattern（r）。可以看到，RPL对潜在的OoD对象会输出扰动，而ID像素则拟合为0输出。

4) Final Visualization

* 颜色越偏红，代表异常可能性越高。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：自动驾驶道路异常检测方法详解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题