ICRA 2026港中文GeoLanG几何感知语言引导抓取与RGB-D多模态学习

今天介绍一项前沿研究——GeoLanG，一个基于几何认知的统一框架，专为语言引导的机器人抓取操作而设计。

语言引导的抓取能力，是实现人机交互直觉化操作的关键环节。机器人仅能识别物体远远不够，还必须理解诸如“拿起碗后面的蓝色杯子”这类自然语言指令。当前的多模态模型在某些场景下表现尚可，但大多数方法仍依赖多阶段处理流程——感知与抓取预测被紧密耦合。问题在于，它们往往未能真正整合几何形态、语言信息和视觉推理，一旦环境杂乱、遮挡严重或纹理辨识度低，性能便会显著下降。这促使我们寻找方法，在语义语言理解与精确几何抓取执行之间搭建一座桥梁。

挑战主要集中在以下几个方面——

统一的 RGB-D 多模态表示

我们摒弃了传统将RGB、深度和语言特征各自独立处理的方式，而是将它们统一嵌入到共享表示空间中，从而实现跨模态语义对齐，大幅提升目标识别的精确度。

深度引导几何模块（DGGM）

深度信息并非辅助输入——我们将基于深度推导出的几何先验直接注入注意力机制中。在遇到遮挡或视觉条件模糊时，这种设计能显著增强物体识别与区分能力。

Adaptive Dense Channel Integration (ADCI)

这是一种动态多层融合策略，有效整合全局语义线索与精细几何细节，从而对物体抓取做出稳定可靠的预测。

实验结果表明：在OCID-VLG基准测试中，GeoLanG在语言引导抓取任务上的表现显著优于多种传统多阶段算法；即使在杂乱且遮挡严重的场景下，也展现出极强的鲁棒性；此外，该框架已在真实机器人硬件上成功部署，验证了从仿真到现实迁移的可靠性。

关键点总结：

本研究证明，将几何推理与多模态语言理解深度融合，能有效提升机器人抓取系统的可靠性。将深度感知的几何先验直接融入注意力机制，有助于消除歧义，使抓取决策更加一致。GeoLanG开辟了一条新路径：机器人不仅能准确判断抓取目标，还能在复杂真实环境中稳定完成抓取任务。

目前研究团队正进一步探索如何将这种几何感知的多模态推理技术推广至实时交互抓取、多步骤操作任务，以及与运动规划和自主机器人控制的深度集成。