跨维将BEV引入具身智能 加速机器人数据规模化
具身智能面临数据异构难题,跨维智能提出Dexterity-BEV,将多来源机器人数据统一对齐至BEV三维空间,实现空间、动作与时序的三维对齐,打通规模化训练路径,显著提升模型泛化能力。
当前,具身智能正面临一个与自动驾驶数年前相似的瓶颈。
自动驾驶行业的发展历程揭示了一个关键规律:谁能率先将真实物理世界高效整合至统一的数字空间,谁便能抢占规模化落地的先机。
然而,回顾当年,这个认知并非从一开始就清晰明确。
早期的纯视觉多相机方案中,每个摄像头各自为政——前置摄像头负责前方路况,侧视摄像头负责侧面感知,各自输出独立的检测结果,最后才进行拼接并交付给规划系统。问题在于,拼接后的信息依然存在于图像坐标系中,无法映射至真实的物理世界。一旦视角、光照或场景发生变化,系统性能便会急剧下降。数据积累得越多,这种各自为战的混乱局面就越发严重。
BEV,即鸟瞰视角(Bird's-Eye View),才是真正改变局面的关键。它之所以能推动行业变革,并非因为为工程师提供了一张俯视图,而是因为它将多摄像头、多传感器、多任务的输出,全部统一到一个规划系统可直接调用的物理坐标系中。由此,自动驾驶完成了一次质的飞跃:从在图像中猜测世界,转变为在三维物理空间中真正理解世界。
如今,具身智能正站在同样的十字路口。机器人数据来源多样,涉及不同摄像头、机械本体、坐标系和操作者。若缺乏统一的空间框架,数据越多,混乱的程度就越高——这并非真正的规模化,而是一种“熵暴”。
跨维智能提出的 Dexterity-BEV,正是要在具身智能领域复现这一重构过程:它将视觉输入、机器人状态与目标动作,全部对齐至同一个参考系中,使机器人数据首次拥有一个可规模化训练的空间基础。这可以视为将 BEV 方法论系统性地应用于具身智能数据基础设施层的一次重要探索。
无序扩张的规模,只会导致熵暴
当前的具身智能行业,无疑正处在喧嚣与火热之中。
机器人本体层出不穷,新数据集接连发布,遥操作系统、人类第一人称视角数据、仿真数据与生成式数据也在快速增长。毫无疑问,行业正步入一个数据快速膨胀的时期。
文本可以被统一组织为 token,图像也已有相对稳定的数据范式。但机器人数据却截然不同——它们天生异构。以一条机器人操作数据为例,可能同时包含多视角图像、深度信息、相机参数、关节状态、末端轨迹、语言指令、任务成败标志和真实反馈等多种维度的信息。更不用说各机器人本体的规格不尽相同,数据集的坐标系互不统一,相机采集视角各有差异,操作人员的动作节奏也千差万别。雪上加霜的是,UMI、Egocentric 等全新的数据采集范式也在不断涌现。人类的身高、臂展、视角和动作习惯,本质上构成了一种新的“异构本体”,进一步放大了数据之间的差异。因此,具身智能面临的并非单一的“数据量不足”问题,而是一个更棘手的双重挑战:一方面,高质量的真实交互数据依然稀缺且昂贵;另一方面,已采集到的数据高度异构,难以互通、难以统一训练、也难以跨机器人迁移。
这正是具身智能必须面对的现实:行业既需要更多数据,也需要一种能将数据转化为可训练、可迁移、可复用资产的底层秩序。如果缺失这种统一的秩序,数据的扩张便不是正向的规模化(Scale),而只会走向熵暴(entropy explosion)。

Dexterity-BEV:为具身智能构建“统一空间坐标系”
01 为具身智能构建“统一空间坐标系”
Dexterity-BEV 的思路非常直接且坚定:将来自不同来源、不同视角、不同本体的机器人数据,统一对齐至一个 BEV 三维空间之中。
这并非简单地将多视角图像进行拼接,也不是打造一个笨重的三维重建系统。Dexterity-BEV 的核心在于构建一个统一的 BEV 对齐坐标系,使不同相机所感知的物体、空间关系以及操作目标,均能映射至同一个俯视参考空间。
可以将其理解为一个“虚拟正交相机”。无论真实相机安装在哪里、以何种角度拍摄,也无论机器人从哪个方向观察,最终的数据都会被转换到同一个俯视空间中。这样一来,同一个物理任务便不再是彼此不兼容的二维图像集合,而是同一个物理世界中可学习、可复用的表达形式。
这一步意义深远。过去许多 VLA 模型看似学会了任务,但一旦相机视角改变、机器人基座移动或场景布局发生变化,其性能便会出现明显下滑。原因很简单:模型学到的并非物理规律,而是特定固定视角下的图像模式。
Dexterity-BEV 的目标,正是将模型从“看图猜动作”的局限中拉回至“在三维空间理解任务”的轨道上。

02 并非放弃 2D 大模型,而是为其补上 3D 坐标
这也是 Dexterity-BEV 最值得深入探讨的部分。
具身智能行业目前面临一个两难困境:纯 2D VLA 模型具备强大的语义能力,但空间理解能力不足;而重型 3D 方法拥有几何信息,却成本高昂、训练困难,且不易复用已有的 2D VLM 能力。
Dexterity-BEV 并未选择推倒重来。它保留了多视角 RGB 输入,继续复用成熟的二维视觉编码器和视觉语言模型,同时通过 顶点图(vertex map) 和 顶点谱(vertex spectrum),为每一个视觉 token 注入三维空间位置信息。
简而言之,它并非重新构建一套昂贵的 3D 系统,而是在现有视觉模型体系之上,补齐了机器人最缺乏的一环:空间坐标。对于配备深度传感器的设备,它可以利用深度图和相机标定生成像素级的三维顶点表示;对于更常见的纯 RGB 相机,它则通过顶点谱机制,为每个像素构建一组三维位置假设,并编码进视觉特征中。
这就像为二维图像装配了一套三维物理骨架。语义能力得以保留,空间理解得以增强,而工程成本并未失控。这才是真正可实现规模化的 3D 方案。

03 不仅对齐视觉,也对齐动作
如果 Dexterity-BEV 仅仅将图像对齐至 BEV 空间,那还远远不够。机器人数据真正的难点在于:动作本身也不统一。
不同机器人本体之间的差异巨大。一台 Franka 机械臂、一个双臂平台、一个半人形机器人,即使执行同一个任务,其关节运动轨迹也截然不同。如果模型直接学习关节角度,基本会被硬件所绑定。Dexterity-BEV 的处理方式,是将动作从具体的关节约束中解放出来。
它不让模型仅仅学习“某个关节应该转动多少度”,而是学习末端执行器在统一的 BEV 空间中应该移动到何处、以何种姿态接近物体、如何移动以及如何完成任务。
更关键的是,这些末端执行器的位姿并非随意表达,而是被进一步对齐到前述的统一 BEV 对齐坐标系中。
这就形成了一个极为漂亮的闭环:视觉输入在 BEV 空间里,机器人状态在 BEV 空间里,目标动作也在 BEV 空间里。输入与输出第一次被纳入了同一个物理坐标系统。这才是真正的感知—动作对齐。
通俗地讲,Dexterity-BEV 为不同的机器人、不同的相机、不同的动作,提供了一把共同的“空间标尺”。过去各自表述千差万别的数据,如今终于能用同一种物理语言进行交流。
具身数据还面临第三种混乱:时间维度。
同一个任务,不同的操作者完成速度各不相同;不同机器人的执行速度也有差异;有的操作者会在中途停顿,有的则动作连贯。这些差异很多时候并不能反映任务本身的本质,却会增加模型训练的难度。
Dexterity-BEV 在数据管线中加入了跨轨迹时序对齐机制,对不同机器人、不同操作者、不同数据集中的轨迹进行时间尺度的规整。它的目的并非抹平任务动作结构,而是尽量减少“谁操作得快、谁操作得慢”这类无意义的差异,使模型能够更专注于学习任务中真正关键的动作顺序和空间关系。

因此,Dexterity-BEV 所做的并非单点优化,而是一整套系统性的数据基础设施建设:空间对齐、动作对齐、时序对齐、数据管线对齐。
Dexterity-BEV 实测验证中的强大泛化能力
Dexterity-BEV 的实验设计同样颇具亮点。它并非仅仅在固定的场景下刷出一个漂亮的成绩,而是专门针对传统 VLA 容易失效的场景进行测试:相机视角的变化、机器人基座的扰动、场景布局的改变以及跨机器人平台的迁移。

在仿真环境中,Dexterity-BEV 在 LIBERO 和 RoboTwin 2.0 上与 π0、X-VLA 等强基线方法进行了对比。特别是在相机视角、机器人基座以及场景布局遭遇大幅扰动的设定下,传统 2D VLA 方法的成功率出现明显下降,而 Dexterity-BEV 依然能够保持稳定的表现。

在真实机器人平台上,Dexterity-BEV 也覆盖了四类双臂平台和多个长程任务,包括折叠纸盒、折布、舀爆米花、递书等。这些任务并非简单的抓取与放置操作,而是涉及刚体、柔性物体、颗粒物、双臂协同以及人机交互的复杂流程。
[BEV视频_终0609.mp4]
这类任务更贴近真实世界,也更能检验一个模型到底是在“记忆画面”,还是在“理解物理原理”。
Dexterity-BEV 的实验结果阐明了一个核心观点:当机器人数据被纳入统一空间之后,模型的泛化能力才真正拥有了坚实根基。
BEV 进入具身智能,打通规模化发展的关键路径
从行业视角来看,Dexterity-BEV 最重要的意义,不仅仅在于单个模型效果的提升,更标志着具身智能从“数据堆积阶段”迈入“数据秩序构建阶段”的一个转折点。
过去,行业内热衷于讨论:谁采集了更多小时的数据,谁拥有更多台机器人,谁完成了更多个任务。然而,如果这些数据无法进行统一训练、无法跨机器人迁移、无法复用到新场景,那么数据规模越大,反而越像是一座座信息孤岛。
Dexterity-BEV 提供了另一种思路:先建立统一的物理空间,再推进数据的规模化。这与自动驾驶当年 BEV 范式带来的变革如出一辙。BEV 让自动驾驶从多相机图像感知走向了统一的空间理解;而现在,Dexterity-BEV 正尝试让具身智能从杂乱的机器人轨迹,走向统一的感知—动作物理表达。
如果说过去的具身智能还停留在“看见世界”的阶段,那么 BEV 进入之后,它开始有机会“组织世界”。这或许是具身模型实现真正规模化(Scaling)之前,必须补齐的关键一层数据基础设施。

具身智能的下一阶段,将不会仅仅是模型更大、数据更多、机器人更昂贵。
真正决定行业能否加速发展的,是数据能否被统一、动作能否被迁移、经验能否跨机器人复用。
Dexterity-BEV 的价值正在于此:它并非仅仅打造一个更强的策略模型,而是试图为整个具身智能领域建立一套可规模化运作的数据秩序。
从这个角度看,BEV 杀入具身智能,并不是一个普通的技术亮点,而是一次必要的根基补强。
自动驾驶曾经获得的 BEV 红利,如今正轮到机器人领域来享用。
而跨维智能此次所做的,正是在将具身智能真正推向规模化发展快车道之前,先把道路修好。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:跨维将BEV引入具身智能 加速机器人数据规模化要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点通过多模态链式指令,利用分段符分工并添加校验句实现模型接力;前置身份声明与术语白名单绑定模型能力;浮动摘要钩子维持多轮对话状态,避免模型降级或同步失败。
项目进度偏差预警需构建感知、比对、判断、反馈闭环,依赖结构化计划输入、实时进度采集与可执行判定逻辑。通过YAML JSON注入任务基准,打通Jira、Git等数据源自动采集,设定超时、停滞等规则触发预警,并支持自动创建跟进、生成趋势简报及个性化改进建议。
将PDF合同上传至Kimi网页端,通过精准指令可自动提取付款条件、支付节点、金额及逾期违约金等条款,并以表格或JSON格式输出。支持原生PDF解析与扫描件OCR识别,需确保页面清晰,指令明确。
AnthropicCEODarioAmodei发文指出AI正呈指数级发展,而政策制定过程缓慢如树人。他主张对前沿AI模型实行强制性第三方测试,像管理飞机一样管控风险,同时警告AI可能加剧经济不平等。尽管呼吁加速正面影响,其动机被质疑为维护自身领先地位。
- 日榜
- 周榜
- 月榜
热点快看
