首个空间原生具身视觉基模开源 机器人视觉显著提升

这一次，机器人能够更加精准地感知我们所处的真实世界了。

这种视觉感知能力究竟达到了什么水平？我们直接通过实际效果来感受一下：

画面最左侧展现的是真实世界的场景；中间部分则是未经任何算法优化的原始深度图——可以看到，杯子的轮廓显得十分破碎，部分杯壁几乎与背景融为一体，而香槟塔则像被挖去了许多空洞，几乎无法辨认其形状和轮廓……

然而，现在机器人眼中的世界已经截然不同。从最右侧的视频中能够清晰地观察到：杯子的边界、层次以及整体结构变得更加完整，顶部杯子、酒瓶、杯塔之间的空间关系一目了然，甚至连那些极其纤细的透明水柱也清晰可辨。

或许有朋友会问：看得差不多不就行了，有必要这么精确吗？

事实并非如此。

这类看似细微的差异，对机器人而言影响巨大。如果它要去抓取一个杯子，边界判断不精准，就可能导致抓取偏移；如果它需要在家庭、商场或工厂等环境中持续移动，深度信息一直支离破碎，后续的路径规划和控制动作都会随之出现抖动。

而这正是蚂蚁灵波刚刚发布LingBot-Vision和LingBot-Depth2.0的核心原因所在：

• LingBot-Vision：这是一个专为机器人真实任务打造的空间原生视觉基模，旨在为机器人构建一个更懂物理世界的视觉底座；
• LingBot-Depth 2.0 则是基于LingBot-Vision所开发的空间感知模型，它能够将这个视觉底座进一步转化为更加稳定和可靠的深度信息。

消息一经传出，网友们反响热烈，不少人感慨道：

玻璃和透明物体一直是机器人视觉的挑战；这无疑是一个重要的里程碑。

归纳起来，对于具身视觉而言，能够看见只是第一步。只有看得精准，机器人才能真正拥有行动的能力。

机器人看世界，最怕“差之毫厘”

尽管具身智能近年来十分火热，但当我们真正将其部署到真实场景中时，往往会发现许多问题最终都回归到最基础的一层：视觉感知是否足够稳定。

第一类长期存在的难题，就是透明与反光材质。

之前的香槟塔就是一个典型实例。透明杯壁在RGB画面中或许可见，但深度传感器和深度模型经常在此处表现不稳定：有些区域无法补全，有些边缘粘合在一起，有些区域则直接形成空洞。而LingBot-Depth 2.0的输出，则相当于为机器人补充了一层稳定的空间骨架，尽可能地保持了杯口、杯壁、杯身之间的几何关系。

这对机器人的抓取任务来说至关重要。因为机械臂要抓取杯子，不仅仅需要识别出“这是杯子”，还必须了解杯子的边界、开口方向、可抓取位置，以及在手爪靠近时是否会碰撞到旁边的杯子。就像昨天蚂蚁灵波预告片中展示的那样，机器人首先通过清晰的深度图看到带有透明水柱的区域，准确知道水的位置，然后才能精准地将水壶推到水柱下方，最终完成接水的任务。

第二类难点，则是小目标与远距离目标的识别。

在下面这个例子中，原始视频里一只狗正在户外追逐一个网球。远处的狗本身已经算是不大的目标，而网球在整个画面中更是微小：

从效果来看，中间的原始深度图几乎模糊成一团，完全无法区分任何主体，更别提像网球这样微小的目标了。相比之下，LingBot-Depth 2.0输出的结果中，地面、远处的墙体、网球、树木以及狗的位置关系都变得更加清晰明了。

这种能力对于移动机器人、巡检机器人以及人形机器人来说，价值更为直接。移动机器人在前进时，不能等到障碍物近在眼前才做出反应。它需要提前感知到远处的人、宠物、路障、货架边缘，并将这些信息传递给导航和规划系统。如果远距离深度数据一直不稳定，机器人就容易出现误判，时而认为前方空无一物，时而又突然探测到障碍物，动作自然会变得犹豫不决，甚至可能引发危险。

第三类难点，是室内复杂场景。

例如家中的玻璃门、窗帘、电视柜、阳台杂物等，而且光照会随着镜头的移动而不断变化。以往的视觉模型在这样的场景中，经常在玻璃、强光、阴影和边缘交界处出现大面积的破碎和空洞：

而LingBot-Depth 2.0的结果则表现得更加连续，墙面、玻璃门、窗帘、地面以及近处物体之间的空间层次得到了更好的保留。这类任务对于家庭服务机器人尤为重要，因为家庭环境中的物品摆放往往较为随意。如果机器人需要在这样的环境中送水、取物、避让人和家具，就必须依赖一个足够稳定的空间信息输入。

第四类难点，是弱光、遮挡与杂乱环境。

在下面这个室内走廊和房间的视频中，门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果在边缘位置容易产生噪点和缺口；而LingBot-Depth 2.0的结果则更加稳定，墙面、门框、桌面边缘都显得更加连续。

这些案例综合起来，其实都指向同一个问题：机器人看世界，不能仅仅依赖语义理解。它所需要的视觉能力更接近于一种“空间常识”，比如哪里是边界、哪里是空的、哪里可以通行，以及哪个物体离自己还很远等等。

这也正是LingBot-Depth 2.0力图体现的几大优势：边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠，同时在复杂材质和复杂光照条件下，深度图的破碎和缺失现象显著减少。

但最关键的问题来了，这些性能提升是如何实现的？答案要追溯到LingBot-Vision。

空间原生视觉，为何要从“边界”学起？

传统视觉基础模型的发展，在过去很长一段时间里都围绕着一个核心目标：让模型更好地理解图像内容。但正如我们刚才提到的，机器人眼中的世界是截然不同的。

一只猫对机器人而言，不仅仅是“猫”这个类别标签，机器人还需要知道猫离自己有多远、它的身体边界在哪里、它是否会突然移动，以及桌子边缘与猫之间是否存在安全距离。因此，具身智能所需的视觉底座，必须更加重视几何结构。

而在几何结构中，一个至关重要的切入点，就是边界。

边界并不仅仅意味着物体轮廓，它同时常常代表着深度突变、遮挡关系、空间分割以及可交互区域。例如杯口的边缘、门框的边线、桌面的轮廓、行人与背景之间的分界，这些都会直接影响机器人后续的移动、避障和抓取行为。

LingBot-Vision的核心思路，就是将边界和空间结构纳入预训练的目标之中。为此，研究团队专门提出了masked boundary modeling，这是一种让模型专门学习难点区域的自监督训练方式。

普通的Mask modeling更像是随机遮住图像中的某一块区域，让模型去猜测被遮住的内容。问题在于，随机遮住的地方可能只是墙面、天空、地板这类信息密度不高的区域。即使模型猜对了，也未必能真正学习到空间结构。

LingBot-Vision的做法则更具针对性。它会让一个教师模型在线发现图像中的边界token，然后强制将这些边界token加入到学生模型的mask中。换句话说，模型不能只在那些容易的平坦区域上“刷题”，而必须去学习那些更难、包含更多空间信息量的边界区域。

这就是所谓的boundary-forcing机制。

进一步来看，边界token还会被分配几何学习目标。模型不仅要学习语义信息，还要学习边界场，也就是那些能够描述边界位置、方向和几何关系的信号。为了确保这种训练过程的稳定性，团队还引入了分类化的边界场表示，以及a-contrario检验方法，以减少将噪声误认为是真实几何结构的情况。

简而言之，LingBot-Vision在预训练阶段就向模型传递了一个明确的信息：不要仅仅关注“这是什么”，还要学会“它的边界在哪里、形状如何、与周围空间是什么关系”。这也是它区别于DINOv3这类通用视觉基础模型的关键差异之一。

虽然LingBot-Vision同样建立在DINO自蒸馏范式的基础上，但它额外引入了Boundary forcing机制，使模型在掩码建模过程中更加关注形状和物体的边界结构。从实际结果来看，LingBot-Vision是一个约10亿参数级别的ViT模型，通过纯自监督训练，在密集空间任务上的表现可以匹敌甚至超越参数量最多大约7倍的视觉基础模型。在NYU-Depth v2数据集上，它取得了所有对比模型中的最佳精度，包括7B参数的DINOv3在内。

更值得注意的是，它的蒸馏学生模型同样表现出色。论文显示，一个0.3B参数的学生模型在NYU-Depth v2上能够达到与7B参数DINOv3相当的精度，而参数量大约减少了23倍。对于机器人应用而言，这一点非常现实——并非所有机器人都能背负一个巨大的模型到处运行，端侧部署、算力成本和延迟都是必须精打细算的要素。

LingBot-Depth 2.0正是这条技术路线的一次直接验证。它基于LingBot-Vision进行升级，在12个深度补全基准测试中取得了领先的结果。更重要的是，论文指出，随着下游训练数据的增加，LingBot-Vision编码器带来的优势会进一步扩大。换句话说，如果视觉底座更懂空间，那么后续的深度模型在吸收更多数据时，其优势不仅不会被冲淡，反而可能随着训练的增加而变得更加明显。

因此，LingBot-Vision和LingBot-Depth 2.0之间的关系，不能简单地理解成“一个视觉模型加一个深度模型”。前者是空间原生视觉底座，后者则是空间感知能力的落地验证。Depth2.0之所以能够在透明、反光、远距离、小目标以及复杂室内场景中表现更加稳定，其背后支撑它的，正是LingBot-Vision在预训练阶段就对边界和几何结构的格外重视。

具身智能要真正上岗，视觉感知至关重要

提到具身智能，我们最容易联想到的可能是大模型与机器人的结合，让它们能听懂指令、规划任务，并与人类进行对话。但客观地说，当它们真正进入工厂、仓库、商场和家庭等环境时，视觉依然是至关重要的一环。

因为视觉一旦不稳定，后续的所有链条都会受到影响。移动机器人可能无法绕开障碍物，机械臂可能抓取失败，服务机器人可能误判门、墙、玻璃与人之间的位置关系，人形机器人也很难在复杂环境中实现稳定的行动。

因此，具身智能的真正落地，需要视觉底座、空间感知、运动控制和硬件传感器等各个环节共同进步。

这也正是此次蚂蚁灵波开源LingBot-Vision和LingBot-Depth 2.0的意义所在。他们将机器人所需的视觉和空间感知能力，打造成了一个更易于复用的底座。对于机器人企业、开发者和研究机构而言，这有助于降低使用门槛，也让下游团队能够更快地在移动、避障、抓取等真实任务上进行验证。

从应用场景来看，这类能力可以服务于移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备以及空间计算等多个方向。

此外，LingBot-Depth 2.0已经通过了奥比中光深度视觉实验室的认证。双方还围绕EGO-RGBD数采设备、SDK以及后续的一体化相机产品展开了合作，这表明这套能力正在从论文和开源层面，继续向硬件和产品集成方向迈进。

当然，视觉底座的升级并不会让机器人一夜之间无所不能。传感器差异、算力限制、场景泛化、控制精度和成本等问题，都还需要持续打磨。但趋势已经非常明确：具身智能的竞争，正在向更底层的基础能力延伸。毕竟，机器人要进入真实世界，第一步就是“看准”。

当机器人开始更好地理解空间时，具身智能距离真正上岗，也就更近了一步。

模型权重：
https://huggingface.co/collections/robbyant/lingbot-vision
https://www.modelscope.cn/collections/Robbyant/LingBot-Vision

代码：
https://github.com/robbyant/lingbot-vision

技术报告：
https://arxiv.org/abs/2607.05247

项目主页：
https://technology.robbyant.com/lingbot-vision

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：首个空间原生具身视觉基模开源 机器人视觉显著提升要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题