面包屑图标 当前位置: 首页
AI资讯
热点详情

具身智能高考难倒AI:人类100分,模型仅12.8

AI热点日报
AI热点日报时间:2026-07-09
热点解读

RoboDojo作为具身智能新基准,评测了42个仿真和18个真实机器人任务及30种策略。最强模型仿真平均成功率仅8 8%,真实世界12 8%,人类专家达100%,凸显通用操作机器人仍面临巨大挑战。

通用机器人这座山,究竟有多高?

过去一年间,VLA、机器人基础模型、世界模型等概念接连登场。各大团队放出的演示视频也越来越流畅:叠碗、插管、收纳、倒水、整理桌面——看起来机器人终于开始能够听懂人类语言、理解物理世界并动手执行任务了。

但随之而来的问题是:这些模型到底谁更胜一筹?强在哪些环节?能否从仿真环境顺利迁移到真实世界?我们距离真正的通用操作机器人,究竟还有多远的距离?

现在,一份全新的“登山路线图”已经出炉。曾推出RoboTwin系列基准的原班团队,带来了RoboDojo——一个兼具仿真与真实世界评估的机器人操作评测基准。

这不仅仅是一个新的benchmark,更像是为具身智能领域树立了一座“珠穆朗玛峰”。

42项仿真任务,18项真实机器人任务,30个主流机器人策略同台竞技。覆盖范围涵盖泛化、记忆、精细操作、长程执行以及开放语义理解。

结果非常直观,甚至有些残酷:

当前最强的通用机器人策略,在仿真环境中的平均成功率仅为8.80%。而在真实世界中,表现最好的模型平均成功率也不过是12.8%

相比之下,人类专家在仿真环境中的成功率为76.03%,在真实世界中则达到了100%

机器人基础模型看似已经起步,开始攀登这座具身智能的珠峰,但RoboDojo的榜单揭示了一个现实:它们大多还在山脚下适应高原反应。

先看任务设计:这座山究竟难在哪里?

RoboDojo的挑战并不在于简单堆砌任务数量,而在于它将机器人操作能力拆解成了一组更加贴近真实世界的“登山关卡”。

在仿真环境中,RoboDojo设计了42项任务,围绕五大核心能力展开:

泛化能力(Generalization),考验模型能否适应新的背景、光照、物体以及复杂杂乱的场景。

记忆能力(Memory),评估模型能否记住此前观察到的信息,并在后续动作中加以利用。

精细操作能力(Precision),考察模型能否完成插入、对齐、精确接触等高精度要求的动作。

长程执行能力(Long-Horizon),检验模型能否攻克多步骤、强依赖、且误差容易累积的复杂任务。

开放语义理解能力(Open),测试模型能否理解从未见过的开放式语义指令,并将语言目标转化为具体的操作行为。

这些任务并非简单的“拿起-放下”变种。以泛化任务为例,桌面上的杂物最多可随机分布25个,背景、光照、物体外观和布局都会发生变化。再看记忆任务,机器人需要记住传送带上曾出现又消失的物体,然后从后续一堆候选物体中选出匹配的目标。至于精细操作任务,机器人必须完成插管、对齐、插入等高容错性要求的动作,稍有偏差就会导致失败。

长程任务则更贴近实际家务场景:机器人并非只执行一个动作,而是要连续完成多个子步骤。拿起、移动、交接、对齐、放置——每一步都可能引入误差,而这些误差会不断累积,最终影响整体结果。

但RoboDojo并未止步于仿真。真正让这座“具身珠峰”变得更高的,是它把评测搬到了真实机器人上。

RoboDojo设计了18项真实世界任务,覆盖ARX X5、Piper、Piper X三种双臂机器人平台,每个平台各6个任务。这些任务并不是对仿真任务的简单复刻,而是专门用于评估机器人在真实物理世界中的部署能力。

例如,在ARX X5上执行的任务包括盖积木、做面包、制作食物、装水果并倒出、保险箱收纳、插管等;Piper上的任务包括堆叠并盖住积木、填笔筒、将物体放入篮子、插充电器、叠碗、扶正瓶子等;Piper X上的任务则涵盖物体分类、拆乐高、挂杯子、将物品装入背包、清扫积木、盖笔帽等。这些听起来都很日常,但对机器人而言却极不简单。

原因在于,真实世界中每一步都充满了物理不确定性:物体可能滑动,夹爪可能夹不稳,机械臂可能存在微小延迟,相机可能产生噪声,接触瞬间还可能把目标推偏。

更重要的是,RoboDojo-RealEval对真机评测进行了标准化处理:统一硬件配置、工作空间布局、光照条件、场景复位流程、评测协议和部署接口。每次测试前,评测人员会根据预设布局复现场景;每个trial还会由三名评审进行双盲打分,不仅评估最终是否成功,也考察中间步骤的完成情况。

换句话说,RoboDojo在真机部分并非“拍个demo视频了事”,而是将真实机器人操作变成了一套可复现、可比较、可远程接入的标准化考试。它不仅问机器人“会不会做题”,更追问:换一台机器人还能保持稳定吗?真实接触时机械臂会抖动吗?物体位置稍有偏差能否修正?任务中途出错能否恢复?离开仿真训练场后,还能继续向上攀登吗?

这正是“具身珠峰”的真正含义——不是单点能力登顶,而是仿真诊断与真实部署两条路线都不能掉链子

榜单一出,差距尽收眼底

RoboDojo最核心的部分就是它的公开排行榜。这也是它区别于许多“自家模型自家评测”方案的关键所在。

RoboDojo由全学术机构联盟发起和维护,背后没有任何商业模型方的利益绑定,榜单治理则由公益性组织AI MMLab Club基金会负责。这意味着,这座“具身珠峰”并非某家公司为自己修建的观景台,而是面向整个社区开放的公共登山路线

在仿真榜单中,团队集成并评测了30个具有代表性的机器人操作策略,包括Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA、GR00T-N1.7、π0、OpenVLA-OFT等。

榜单排名第一的是Hy-Embodied-0.5-VLA,平均得分13.07,平均成功率8.80%。紧随其后的是Spatial Forcing、π0.5、X-VLA等模型,但整体表现依然处于很低的水平。

即便是领先的模型,在五大能力维度上也没有一个能称得上“全能”。有些模型泛化能力更强,有些精细操作更稳定,有些长程任务能多推进几步,但一旦放到完整榜单上,短板就非常明显。

RoboDojo揭示了一个关键事实:如今的机器人模型并非不会动,而是不够稳;并非完全不会做任务,而是很难稳定地完成任务。许多策略能够完成部分步骤,但最终成功率很低。例如在长程任务中,机器人可能已经拿起物体、移动到目标附近,却在最后的对齐、插入、放置或恢复阶段失败。这也正是具身智能与纯语言、纯视觉任务最大的区别:在物理世界里,差一点就意味着失败。

真实世界榜单更令人深思

如果仿真还算“训练场”,那么真实机器人就是“珠峰的实地”。在真实世界榜单中,表现最好的模型是π0.5,总体成功率为12.8%,平均得分22.9。

头部梯队包括InternVLA-A1、GalaxeaVLA、Xiaomi-Robotics-0、X-VLA等,但整体成功率依然停留在个位数到十几个百分点之间。这揭示了一个非常关键的问题:在仿真环境中表现相对领先,并不代表在真实世界中同样稳定。

真实机器人会引入额外的困难:相机噪声、标定误差、机械臂延迟、接触不稳定、动作抖动、安全边界、物体初始位置的微小偏差。这些东西在演示视频中常常难以察觉,但在标准化评测中会集中暴露。RoboDojo的意义也正在于此——它不仅问“机器人有没有做成功”,更追问:

这个策略,能否在仿真中通过全面性考察,同时在现实世界里直面挑战?

为什么说这是“具身珠峰”

从结果来看,RoboDojo暴露了一个很现实的判断:当前机器人基础模型的能力增长并不均衡。有些模型能更好地识别目标,有些模型能更顺畅地执行动作,有些模型在长程任务中能推进更多步骤。但真正的通用机器人,不能只在某一个能力维度上强。

它既要看得懂,也要记得住;既要规划对,也要手上准;既要能处理熟悉任务,也要能理解开放指令;既要在仿真里跑通,也要在真实机械臂上稳定执行。而RoboDojo的实验结果显示,今天的模型在这些维度上仍然存在明显的短板。

最典型的是Open任务。即使是最强的模型,在开放语义任务上的成功率也仅约1.67%。这意味着,当前机器人基础模型距离真正“听懂人话并可靠干活”,还有很长的路要走。它们可以在熟悉的任务上模仿,但面对新目标、新语义、新组合时,语义理解、视觉定位、技能选择和动作执行这条链路依然非常脆弱。

这正是具身珠峰的难度所在——不是单点能力登顶,而是所有能力都不能掉链子。

不只是评测,还是一套基础设施

RoboDojo还有两个重要的组成部分。

一个是异构并行仿真。传统仿真并行往往是在复制同一个场景,只改变初始位置;而RoboDojo支持不同任务、不同物体、不同布局同时运行,大幅提升了评测效率。

另一个是XPolicyLab。它相当于RoboDojo背后的“统一接入层”,专门用来解决机器人策略评测中一个很现实的问题:不同模型往往有不同的数据格式、预处理流程、训练脚本、动作表示和部署环境,想要放到同一张榜单上公平比较,工程成本非常高。

XPolicyLab所做的就是将这些外部的流程标准化。它提供统一的数据转换、训练模板、部署流程和评测脚本,同时保留各个策略本身的模型结构和实现方式。这样一来,不同的机器人策略只要接入统一的observation-action接口,就能在RoboDojo的仿真环境和RoboDojo-RealEval真机平台上运行。本次论文中,团队已通过XPolicyLab集成了30个具有代表性的机器人操作模型。

对研究者而言,这意味着模型可以“一次接入,多处评测”:先在仿真中快速迭代、诊断能力短板,再部署到真实机器人上接受标准化测试。

因此,RoboDojo不仅仅是论文中的一个静态benchmark,而是一个可持续更新的具身智能竞技场。模型可以不断上榜,任务可以持续扩展,真实机器人评测也可以远程接入。

对于机器人基础模型领域来说,这一点至关重要。因为在通往通用操作机器人的道路上,大家不仅需要更大的模型、更炫酷的demo,也需要一套能反复衡量进步的“海拔尺”。

具身智能,终于有了更高的山

过去,机器人领域常常被demo驱动。一个模型能完成几个漂亮任务,很容易让人产生“通用机器人快来了”的错觉。但RoboDojo给出的结论更为冷静:当前模型确实在进步,但距离可靠、泛化、可部署的通用机器人操作,还差得很远。

这其实并不是一个坏消息。恰恰相反,RoboDojo把问题摆清楚了:谁能泛化,谁会遗忘,谁动作抖动,谁只会做一半,谁在真实世界掉队,谁能在榜单上向上攀爬。具身智能,终于不再是比拼宣传片,而是开始比拼标准化赛道上的真实成绩。

这座“具身珠峰”已经立起来了。接下来,就看谁先登顶了。

项目负责人介绍

陈天行,香港大学MMLab直博生,师从罗平教授。在ICML、CVPR、ICLR、RSS等顶级会议发表论文十余篇,荣获多项顶会研讨会最佳论文奖以及多项顶会学术竞赛冠亚军。曾获红杉中国与《麻省理工科技评论》中国评选的AI25(25岁以下AI创新青年先锋)、深圳大学特奖(学生最高荣誉)、CCF优秀大学生(全国99人)。他是RoboTwin 2.0的第一作者、头部具身开源社区Lumina的创始人,其开源项目累计获得GitHub近两万星。

陈越,北京大学硕士研究生,主要研究方向为三维视觉表征与机器人仿真。迄今已发表CCF A类、CAAI A类高水平论文10余篇,多篇成果以Oral、Spotlight形式收录,相关工作曾获CVPR、IROS等国际会议研讨会最佳论文奖项。曾获国家奖学金、北京大学三好学生荣誉。

未来扩展

RoboDojo团队后续还会持续输出灵巧操作、移动操作、触觉操作、人形全身操作等评测内容,值得持续关注。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:具身智能高考难倒AI:人类100分,模型仅12.8要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://36kr.com/p/3886887316500745
具身智能

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-09 20:21
Mistral发布Robostral Navigate 8B模型,单摄像头导航性能超越多摄方案

最近,法国人工智能公司Mistral低调发布了一项重磅成果——推出了全球首款专为机器人打造的导航模型Robostral Na vigate。该模型参数规模仅为8B,却能使机器人仅凭一颗普通RGB摄像头,在复杂环境中实现完全自主导航,无需配备深度传感器或激光雷达。 这意味着什么?过去,要让机器人准确认

AI热点2026-07-09 20:21
近三分之一企业高管不懂AI按量计费经济账算力账单成黑箱

外媒The Register的一则消息,让不少科技圈的人心里咯噔了一下——“四大”会计师事务所之一的毕马威最近发布了一项调查,结果相当耐人寻味。 调查显示,不少企业高管,正被AI行业的新玩法“吓”到。这个新玩法,就是按量计费。以前,企业签个固定价格合同,AI公司会补贴大语言模型的调用成本,大家用起来

AI热点2026-07-09 20:21
亚马逊AI智能体Moonraker曝光 Alexa将实现多步任务串联

亚马逊最近在秘密推进一个代号为“Moonraker”的AI智能体项目,目标很明确:让智能语音助手Alexa具备串联执行复杂任务的能力。这可不是什么“小打小闹”的升级,而是真正意义上的能力跃迁——从以前那种“一次只能响应一个指令”的局限,进化到能理解复合型请求,并按逻辑顺序自动完成多个相关联的操作。举

AI热点2026-07-09 20:21
AI黑话拆解:从聊天到落地的底层逻辑

AI圈子现在最不缺的,就是新名词 LLM、Token、Context、Prompt、RAG、Tool、MCP、Agent、Skill……这些词扑面而来的时候,很多人第一反应是:AI还没完全用明白,概念先背不过来了。 但如果换个角度看,它们其实不是一堆孤立的技术黑话。背后只有一条主线:AI正在从一个“

延伸阅读