蚂蚁正式开源基于掩码深度建模的新一代空间感知模型LingBot-Depth

灵波科技开源的LingBot-Depth模型，专注于攻克深度补全这一行业公认的技术难题。如果你的机器人或自动驾驶设备搭载3D相机，一定遇到过深度图上突然出现黑洞，或者反光物体直接“隐身”的情况。没错，这些现象背后的核心技术挑战，正是LingBot-Depth致力解决的核心问题。

简而言之，该模型是一款专为真实应用场景量身打造的深度补全方案。它基于奥比中光Gemini 330系列双目相机完成数据采集，并直接利用深度引擎芯片输出的原始深度数据进行训练与调优。这好比给大脑提供了一本未删减的原始笔记，而非经过整理、可能遗漏关键细节的摘要。目标十分明确：将那些存在缺失和噪声的原始深度信号，重建为高保真、具备真实物理尺度的三维测量结果。换句话说，就是让智能体真正“看懂”周围环境。

LingBot-Depth 核心优势

• 高精度与高鲁棒性的3D深度感知能力
• 出色的3D静态感知与4D动态场景理解性能
• 支持透明、反光等难抓取物体的灵巧操作

实验数据表现十分亮眼。在深度预测精度和有效像素覆盖率这两项关键指标上，它全面超越了当前主流工业级深度相机。在NYUv2、ETH3D等权威基准测试中，LingBot-Depth在深度补全、单目深度估计以及双目立体匹配任务上均达到了业界领先水平（SOTA）。更值得关注的是，模型在未引入显式时序建模机制的情况下，依然能保持视频序列级别的时间一致性。这意味着什么？意味着模型不仅在单帧中就能感知深度，在多帧之间也能保持稳定，避免闪烁和抖动现象。

上图展示了在最具挑战性的稀疏深度补全任务中的性能对比——数值越低代表误差越小，而LingBot-Depth的误差曲线几乎贴近零值。实际应用场景的测试结果同样令人信服：模型在RGB和深度两种模态之间学到了高度对齐的隐空间表征，能够可靠地识别并抓取透明杯子与镜面反射物体。这在真实场景中无疑是一个重要突破。

技术上的核心亮点，研发团队称之为“掩码深度建模”（Masked Depth Modeling，MDM）。其思路与掩码语言模型类似：训练数据是大规模的RGB–深度图像对，但训练过程中会主动将部分深度区域随机遮蔽，迫使模型仅凭借RGB图像内容去推理被遮挡的深度信息。随着训练推进，模型逐步建立起“外观—几何结构”之间的强关联映射——简单来说，就是从物体的外表出发，直接推断它的位置和距离。这一机制正是模型能够泛化到透明和反光物体的底层原因。

值得一提的是，模型权重、训练/推理代码及技术白皮书现已面向全球开发者开源（相关链接可通过官方渠道获取）。无论你是从事服务机器人、自动驾驶还是工业检测，都可以直接将其应用在自己的项目中。