小米汽车实现自动驾驶突破 AI大脑统一感知决策规划

想象一下驾驶时需要同时处理的三件事：理解路况和交通信号的含义、精确感知周围车辆和障碍物的位置、制定安全的行驶路线。对人类司机而言，这三种能力似乎浑然一体，但对自动驾驶系统来说，却是一个长期存在的核心挑战。最近，一项由华中科技大学与小米汽车联合团队完成的研究，首次成功让一个统一的AI系统同时掌握了这三种核心驾驶能力。这项发表于arXiv预印本平台的研究（论文编号：arXiv:2604.02190v1），标志着自动驾驶技术向真正的“智能驾驶大脑”迈出了关键一步。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

传统的自动驾驶架构，就像一个分工明确但沟通不畅的工厂车间。“翻译员”专门解读交通标志和路况信息，“观察员”专职识别周围物体的位置，“决策者”则埋头制定行驶路线。每个部门都很专业，但信息在传递链条中难免损耗或失真，导致整体效率受限。更棘手的是，当试图让同一个AI模型“身兼数职”时，不同任务之间会产生严重的相互干扰，就像让一个人同时心算、写作和绘画，结果往往是哪样都做不精。

研究团队精准地定位了这个问题的根源：语言理解和空间感知，本质上是两种截然不同的思维方式。前者需要抽象的逻辑推理，后者依赖精确的几何计算。当它们在共享的神经网络参数空间里“强行混合”时，不仅会降低感知精度，甚至会削弱系统原有的语言理解能力。这种“认知冲突”成了统一智能驾驶模型发展的主要瓶颈。

“专家会诊”式架构：分工明确，协作有序

为了解决这一矛盾，团队提出了名为UniDriveVLA的创新架构。其核心理念是“专家分工合作”。这好比一个高效的医疗团队：内科医生负责诊断病情，影像科医生专精检查判读，外科医生主刀手术，三者通过规范的会诊流程紧密协作。UniDriveVLA也设置了三位专属“专家”：理解专家、感知专家和行动专家，分别对应场景理解、物体感知与定位、以及路径规划决策。

这套架构的精妙之处，在于其“遮罩联合注意力机制”。它确保了信息流动的有序性，就像规定了会诊时的发言顺序。理解专家首先分析驾驶指令和环境语义，其处理过程类似人类的顺序阅读。感知专家可以“听取”理解专家的分析结果，在此基础上进行更精准的空间感知。最后，行动专家综合前两者的信息，输出最终的驾驶策略。这种设计从机制上避免了不同思维模式间的直接干扰。

从“记住每粒沙”到“关注关键点”：稀疏感知策略

在感知层面，研究团队采用了“稀疏感知”策略。传统方法要求系统“记住路面上的每一粒沙子”，信息密度高，计算负担重。而稀疏感知则模仿经验丰富的司机，只聚焦于最关键的元素：前方车辆、车道线、交通信号、行人等。这大幅提升了处理效率，更重要的是，避免了过载的空间细节信息对语言理解模块造成“噪音”干扰。

具体来说，系统通过多摄像头图像，智能提取关键的空间特征点。这些特征如同经过筛选的“要点摘要”，既包含了决策所需的足够信息，又保持了格式的轻量化。尤为关键的是，这些空间信息会被转换成与语言模态兼容的表示，就像为不同专家准备了一份通用的“会议纪要”，极大便利了跨模块的协作。

渐进式训练：像培养全能运动员一样塑造AI

如何让这样一个复杂系统稳定学习？团队设计了一套三阶段渐进训练策略：

第一阶段打基础：重点强化系统的语言理解能力，使用海量驾驶对话和通用视觉语言数据进行训练。

第二阶段引入新任务：逐步加入感知和规划任务，但采用“低强度训练”，小心翼翼避免新任务冲击已建立的语言能力。

第三阶段专项优化：重点打磨感知专家和行动专家，同时稳固理解专家的能力。

这个过程，很像培养一名全能运动员：先通过一项基础运动建立出色的身体协调性，再循序渐进地加入其他项目，最后进行专项强化，确保新技能的获得不以牺牲原有优势为代价。

性能表现：不仅会开车，还能“理解”驾驶

在权威测试平台上，UniDriveVLA展现了强大实力。在基于真实世界数据的nuScenes开放测试中，即便在没有额外车辆状态信息的情况下，系统也能准确预测轨迹。在模拟环境的Bench2Drive闭环测试中，其驾驶评分达到78.37，在不依赖高级训练数据的方法中位列第一，效率指标更是高达198.86。

更值得关注的是它在复杂交互场景中的表现：变道超车成功率达到了80%，合流场景成功率为38.75%。这表明系统已能处理需要综合判断的动态场景。

除了核心驾驶，UniDriveVLA还具备多任务处理能力，可同步进行3D物体检测、在线建图、运动预测及驾驶问答。这种“一专多能”的特性，使其更接近人类司机的综合认知水平，而非单一功能的自动化工具。

为何“分工”优于“统一”？数据揭示答案

为了验证专家分工设计的必要性，团队进行了对比实验。结果显示，当使用传统的共享参数架构时，系统内部出现了明显的“特征收敛”现象——语义理解和空间感知的特征表示变得越来越相似，最终几乎无法区分。这意味着系统丧失了处理异质信息的专业化能力。而UniDriveVLA的专家分工架构成功避免了这一问题，各专家保持了其功能的独特性。

此外，通过组件消融实验，团队量化了各模块的价值：引入车辆状态信息能显著提升轨迹预测精度；物体检测功能将碰撞率从0.21%降低至0.10%，主要改善了安全性；占据栅格预测则对提升轨迹精度贡献最大，说明密集的空间上下文信息对规划至关重要。

在驾驶场景理解任务中，系统展现了强大的推理能力。在DriveBench测试的感知、预测、规划、行为推理四个维度上，其平均得分达到51.97，说明它不仅能执行操作，还能理解和解释决策背后的逻辑。

意义与展望：通向更智能的驾驶未来

这项研究的意义超越了单一的技术创新。它提供了一种新的发展范式：不再依靠简单堆叠功能模块，而是通过精巧的架构设计，实现多种能力的有机统一与高效协作。这种“统一而不混乱，分工而不孤立”的哲学，可能为更广泛的AI系统设计带来启发。

从工程角度看，UniDriveVLA证明了用单一统一模型处理多重驾驶任务的可行性，这有望简化传统自动驾驶系统复杂的模块集成，降低开发和维护成本。当然，挑战依然存在，例如在运动预测等任务上仍有提升空间，如何进一步优化专家间的协作效率也是未来的研究方向。从实验室测试到真实道路部署，仍有很长的路要走。

总而言之，UniDriveVLA代表了一个重要的里程碑。它不仅解决了感知与理解的冲突难题，更为构建真正智能、可靠的自动驾驶系统描绘了一条可行的技术路径。未来的自动驾驶汽车，或许将不再只是一个执行指令的机器，而是一个能深度理解环境、自然与人交互、并做出智能决断的可靠伙伴。

Q&A

Q1：UniDriveVLA为什么要设计三个专门的专家而不是用一个统一的系统？

A：核心原因在于避免任务冲突。语言理解（抽象推理）和空间感知（几何计算）是两种不同的思维模式，强行融合在一个模型里会相互干扰，降低整体性能。设立三个专家，让各自专注于最擅长的领域，再通过规范机制协作，就像组建一个各司其职又紧密配合的专家团队，能在保持专业性的前提下实现高效协同。

Q2：这个系统在实际道路测试中的表现如何？

A：目前，UniDriveVLA主要在nuScenes真实数据集和Bench2Drive模拟环境中进行了验证。在Bench2Drive中，它获得了78.37的驾驶评分，变道超车成功率80%，效率指标优异。这些结果显示了其在可控环境下的强大潜力，但从模拟测试到复杂现实道路的可靠部署，仍需大量的进一步验证和工程优化。

Q3：稀疏感知和传统感知方法有什么区别？

A：传统感知方法追求对环境的“密集”重建，试图捕捉大量细节，计算负担重。稀疏感知则转向“关键点”策略，像经验丰富的司机一样，只提取和关注对驾驶决策至关重要的信息（如车辆、车道线、信号灯）。这样做不仅大幅提升了处理效率，也有效防止了冗余的空间信息干扰系统的语言理解能力，是实现“感知”与“理解”共存的关键。