驾驶视频数据训练相机位姿估计模型方法详解

无需依赖百万级3D标注数据，自动驾驶模型也能从海量普通行车视频中“领悟”自身运动规律。Wayve最新提出的LA-Pose框架，其核心创新在于将未标注驾驶视频中蕴含的丰富运动信号，高效转化为自动驾驶系统迫切需要的相机位姿估计能力，为几何感知模型训练开辟了一条低成本、可扩展的新路径。

相机位姿估计的挑战何在？

相机位姿估计旨在精确计算相机在连续帧之间的运动变化，包括平移距离和旋转角度。这本质上是一个几何视觉问题，但在实际自动驾驶场景中面临严峻挑战：夜间照明不足、雨雪雾恶劣天气、隧道明暗突变、城市密集车流以及乡村复杂路况，导致视觉外观剧烈变化。传统基于有限标注数据的监督学习方法，难以覆盖如此多样且极端的真实驾驶环境。

LA-Pose的出发点极具启发性：真实的驾驶视频序列本身，就包含了最完整、最自然的运动线索。车辆加速、刹车、转弯、变道等行为，都会在视频帧间产生规律性的视觉变化。因此，关键问题或许并非“如何获取更多3D标注”，而是“如何让模型从无标注视频中自主学会理解运动模式”。

核心技术：两阶段学习框架

LA-Pose采用了一种先预训练、后微调的两阶段策略。

第一阶段是“潜在动作预训练”。研究团队利用约1000万段未标注的驾驶视频片段，让模型进行大规模自监督学习，目标是学习一种紧凑的“潜在动作”表示。这种表示可理解为对帧间运动模式的编码——车辆是直行、左转、右转还是减速，场景结构如何随时间演变。这些信息无需人工标注，它们天然蕴含于连续的视频时序关系中。

具体实现上，模型训练了一个逆向-正向动力学系统。通过观察连续视频帧，模型需要捕捉“当前帧如何过渡到下一帧”的内在动力学规律。在此过程中，模型并未获得任何精确的速度、航向角或3D位姿标签，纯粹是通过分析海量驾驶视频，自主归纳出特定视觉变化与对应运动模式之间的关联。

第二阶段，将学到的运动表示应用于实际位姿估计。研究人员冻结了预训练好的运动编码器，仅在其上接入一个轻量级“位姿预测头”，然后使用少量高质量3D标注数据对该预测头进行微调。该预测头的任务是将学到的潜在动作解码为具体的相机位姿参数，包括相对平移、旋转、视场角及尺度。整个推理过程采用前馈方式，计算效率高，更符合车载系统实时部署需求。

无监督学习中的运动结构涌现

论文中一个显著发现是，潜在动作空间自发形成了清晰的语义结构。

当研究者将学习到的潜在动作投影至二维空间进行可视化时，相似驾驶行为对应的表示会自然聚集。不同区域明确对应直行、左转、右转、停车等驾驶操作。这表明模型并非简单记忆视觉外观，而是在无任何3D监督的情况下，学习到了具有几何意义的运动先验知识。

另一重要结论是：表示维度并非越高越好。LA-Pose实验表明，一个50维的潜在空间瓶颈，虽可能在图像细节重建上稍逊，却比更高维表示更适用于后续位姿估计任务。这种适度压缩迫使模型摒弃冗余的外观信息，从而保留更本质、更关键的运动结构特征。

性能表现：更低标注依赖，更高估计精度

实验结果表明，在Waymo、PandaSet等主流自动驾驶数据集上，LA-Pose相比近期前馈式位姿估计方法，实现了超过10%的精度提升。与此同时，其所依赖的3D标注数据量减少了数个数量级。

更值得关注的是，在未参与训练的PandaSet数据集上，LA-Pose性能依然优于基线方法，展现出强大的跨数据集泛化能力。这对自动驾驶系统至关重要——系统不仅要在已知场景中表现优异，还需能适应新城市、陌生道路拓扑及未见过的天气条件。

为直观展示泛化能力，Wayve进一步对比了LA-Pose与VGGT在多种真实路况下的表现，例如雨天高速出口、复杂环岛、德国乡村窄路等挑战性场景。

核心价值：从未标注视频中挖掘几何能力

LA-Pose的核心贡献在于，成功将“未标注视频的规模优势”转化为可用的几何视觉能力。车辆每日在真实世界产生的行车记录，本身就是一座蕴含运动信息的宝库。只要模型能从中学习到紧凑且可迁移的运动表示，再借助少量标注将其校准至物理尺度，就有可能彻底改变几何感知系统的训练成本与扩展范式。

当然，LA-Pose仍有改进空间。Wayve在博客中指出，模型在倒车场景中仍会出现性能下降，可能因倒车样本在预训练数据中占比较低。团队认为，下一步需继续扩大预训练与微调阶段的数据规模，并将这种逆向动力学预训练框架，拓展至机器人采集视频、手持拍摄视频等更广泛的动态视觉场景。

但此项工作传递出一个清晰信号：几何视觉能力的构建，未必始于昂贵标注。运动本身即为一种强大的监督信号，而真实世界的视频中，运动无处不在。

未来展望

若LA-Pose所代表的技术方向持续发展，未来自动驾驶系统有望大幅降低对昂贵3D标注数据的依赖，无需为每个新城市、每类新场景重复构建标注数据集。相反，系统能够从持续增长的真实驾驶视频流中，自主学习更通用、更鲁棒的几何先验知识。

这也正是论文标题“Latent Action Pretraining Meets Pose Estimation”的深层含义：潜在动作不再仅仅是世界模型或策略网络中的条件变量，它已成为连接海量视频数据与三维几何理解的关键桥梁，为自动驾驶感知技术演进提供了新的思路。