大晓机器人联合港中文开源的具身操作VLA模型ACE-Ego
ACE-Ego是大晓机器人与港中文MMLab联合开源的具身操作VLA模型,通过6000余小时人类第一视角视频预训练,结合相机空间动作与形态条件编码,实现一脑多型适配不同机器人本体。在RoboCasaGR1TableTop基准上以72 8%刷新SOTA,稳定完成塑料袋打包等复杂零售操作,全部资源开源。
ACE-Ego是什么
先说几个核心判断。在具身智能领域,长期存在一个棘手难题:不同机器人的“身体”结构千差万别,单一模型很难实现通用适配。大晓机器人与港中文MMLab联合开源的ACE-Ego,试图从根源上解决这一痛点,打造跨形态通用操作能力。
简而言之,ACE-Ego是一款“一脑多型”的具身操作VLA模型。其训练数据极具特色——超过6000小时的人类第一视角操作视频。这相当于让模型先通过“观察人类工作”来理解任务本质,而非一开始就学习机器人特有的动作模式。借助相机空间动作与形态条件编码两项关键技术,同一模型能够适配截然不同的机器人本体,实现跨平台部署。
实际效果如何?在RoboCasa GR1 TableTop基准测试中,它以72.8%的准确率刷新了SOTA(当前最优)。更关键的是,像塑料袋打包、鞋盒装鞋这类复杂的零售操作,它也能稳定完成。这意味着多本体部署的成本可大幅降低,为具身智能落地提供高性价比方案。
ACE-Ego的主要功能
- 一脑多型适配:同一VLA模型通过形态条件编码,即可兼容不同机器人本体,无需为每台机器人单独训练,大幅降低部署成本。
- 复杂操作执行:支持长周期、强接触的零售操作,例如塑料袋打包、鞋子装入鞋盒等精细任务,覆盖完整零售链路。
- 双臂协调控制:在高难度双臂操作基准RoboTwin 2.0中达到90.62%成功率,复杂双手协作任务也能从容应对。
- 开源生态开放:模型及相关资源全部开源,极大降低具身智能研发门槛,推动社区协作创新。
ACE-Ego的技术原理
以下重点解释几个关键设计,它们共同构成了ACE-Ego的核心技术竞争力。
- 以人为中心的预训练:整合6000+小时人类第一视角视频、多本体机器人演示数据及仿真数据进行预训练。思路清晰:利用人类日常操作视频构建通用操作表征,再通过少量机器人数据微调实现技能迁移。这比单纯依赖昂贵的机器人演示数据高效得多,显著提升数据利用效率。
- 相机空间动作:将动作预测统一到相机坐标系下。这样一来,不同机器人本体与相机视角差异导致的动作空间不一致问题迎刃而解,模型可跨形态输出统一动作指令,实现跨平台泛化。
- 形态条件编码:通过编码机器人形态信息(如关节结构、自由度配置),让模型理解不同本体的物理约束。这样,同一模型内部就能原生适配多种机器人硬件,真正实现“一脑多型”。
- 可靠性感知训练:引入可靠性评估机制,在训练过程中区分高置信度与低置信度动作预测。这一设计对复杂接触操作中的稳定性和安全性至关重要,确保长周期任务执行可靠。
如何使用ACE-Ego
部署流程设计清晰,按以下步骤操作即可:
- 环境准备:先克隆官方GitHub仓库,安装Python依赖环境,确保系统支持PyTorch与CUDA。
- 模型下载:从开源渠道获取ACE-Ego预训练权重文件,加载以人为中心预训练的VLA基础模型。
- 本体配置:通过形态条件编码接口,录入目标机器人的URDF结构、关节自由度及相机参数,完成一脑多型适配。
- 相机标定:对机器人搭载的RGB-D相机进行内外参标定,建立统一的相机空间动作坐标系。
- 数据微调(可选):若需处理特定任务,可采集少量机器人演示数据,结合人类视频预训练权重进行轻量级微调。
- 视觉输入:将机器人实时相机画面和语言指令(如“把鞋子装进鞋盒”)输入模型。
- 动作推理:模型输出相机空间下的末端执行器动作序列,包括位置、姿态和夹爪开合度。
- 映射执行:将相机空间动作指令转换为目标机器人本体的关节控制信号,驱动硬件完成操作。
- 可靠性校验:启用可靠性感知模块过滤低置信度动作,确保长周期复杂操作的安全稳定执行。
ACE-Ego的核心优势
- 性能领先:RoboCasa GR1 TableTop上72.8%的准确率刷新SOTA,大幅超越π0.5(37.0%)和GR00T-N1.6(47.6%)等主流模型,体现卓越操作能力。
- 跨形态泛化:一脑多型架构支持同一模型适配不同机器人,多本体部署成本显著降低,加速具身智能规模化应用。
- 复杂任务能力:在强接触、长周期零售操作中表现稳定,覆盖从商品整理到打包履约的完整链路,满足实际场景需求。
- 数据效率高:基于人类视频预训练,大幅减少对昂贵机器人演示数据的依赖,降低研发成本与数据门槛。
ACE-Ego的项目地址
- 项目官网:https://acerobotics-vla.github.io/ACE-Ego/
- GitHub仓库:https://github.com/ACERobotics-VLA/ACE-Ego-0
- 技术论文:https://acerobotics-vla.github.io/ACE-Ego-0/paper.html
ACE-Ego的同类竞品对比
将其与业界知名模型π0.5进行直接对比,差距一目了然:
| 维度 | ACE-Ego | π0.5 |
|---|---|---|
| 发布方 | 大晓机器人 × 港中文MMLab | Physical Intelligence |
| 定位 | 一脑多型具身操作VLA | 通用流匹配VLA模型 |
| RoboCasa GR1 | 72.8%(SOTA) | 37.0% |
| 预训练数据 | 6.0K+小时人类视频 + 机器人数据 | 大规模多本体机器人数据 |
| 核心特色 | 以人为中心、相机空间动作、形态条件编码 | 流匹配动作生成、大规模预训练 |
| 开源状态 | 开源 | 闭源(API/模型权重受限) |
| 形态适配 | 原生支持一脑多型 | 需针对各本体单独微调 |
可见,ACE-Ego在性能领先的同时,开源特性与跨形态适配优势极为突出,为具身智能领域提供了高可用解决方案。
ACE-Ego的应用场景
- 零售履约:超市、便利店等场景中的商品整理、塑料袋打包、鞋盒装鞋等线下零售操作自动化,提升效率与准确性。
- 物流仓储:仓库内物品分拣、装箱、码垛等需要强接触操作的物流环节智能化,降低人力成本。
- 家庭服务:家庭环境中物品收纳、整理、简单清洁等日常家务操作辅助,提升生活质量。
- 商业服务:商场、酒店、餐厅等场景中的物品搬运、陈列维护与台面整理,实现商业服务智能化。
- 工业制造:生产线上的零部件装配、工具取放、物料转移等精细工业操作,提升制造自动化水平。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:大晓机器人联合港中文开源的具身操作VLA模型ACE-Ego要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点DiffusionLogoStudio是一款面向个人创业者、小型企业主和创业公司的AI工具,无需设计知识即可生成独特、可商用的品牌标识。它支持Logo定制、无限可伸缩、添加文字及模拟场景预览,低成本解决传统设计成本高、易撞脸的问题。
Stratup ai是一款基于人工智能的创业点子生成与探索工具,面向创业者、企业家和投资者。它能发现商业创意、分析市场需求与竞争格局,生成包括市场规模、风险评估在内的详细报告,辅助商业决策,将创意转化为系统流程。
猫眼是一套基于人工智能的校园反欺凌系统,通过分析音频与视频信号实时检测言语威胁和肢体冲突,秒级向教职工发送警报,将被动监控升级为主动防御,助力学校及时干预欺凌事件。
SAP推出商业智能AI助手Joule,将生成式AI嵌入企业工作流,覆盖HR、财务、供应链等领域。能撰写招聘广告、分析销售业绩、提供供应链改善方案并自动联系系统,核心特色是理解业务语境,提供情景化建议并协助完成日常工作。
- 日榜
- 周榜
- 月榜
热点快看
