英伟达开源机器人技能库 具身智能范式变革 Jim Fan
英伟达开源机器人技能库ASPIRE,通过记录感知、导航、抓取等执行轨迹,让大模型分析失败原因并修复程序,将验证后的修复经验沉淀为可复用技能,使机器人实现持续自我进化,标志着从梯度下降到技能打磨的训练范式转变。
机器人也能掌握技能了,这不再是科幻场景。
英伟达最新发布的这套系统名为ASPIRE,全称是Agentic Skill Programming through Iterative Robot Exploration。简单来说,它是一个让机器人能够持续积累操作经验的智能技能库,推动具身智能进入全新阶段。

听起来有些抽象?其实可以把它理解为一个专为机器人设计的Coding Agent。就像GPT能将你的工作记录提炼成可复用的技能一样,ASPIRE会将机器人在执行任务过程中的失败与修复经验,沉淀为日后可直接调用的知识。唯一的区别在于,它审查的不是代码行,而是机器人的完整操作流程。
每当机器人执行任务时,ASPIRE都会完整记录感知、导航、抓取、碰撞、运动规划等所有环节。背后调用的GPT或Claude,会像专业研究员一样分析问题根源,并迭代程序。如果新程序运行成功,这次积累的经验就会被写入技能库,形成持续进化的闭环。
这样一来,机器人就能通过编写代码、查看执行轨迹、修复程序、沉淀技能的方式,实现持续自我进化,开启一种全新的机器人学习范式。
英伟达机器人主管Jim Fan认为,这代表着一种全新的持续学习范式。直观来看:
- 训练,从梯度下降转变为不断打磨技能(Skill Refinement);
- 训练好的模型,不再仅仅是浮点权重,而是持续扩展的机器人技能库(Sensorimotor Skills);
- 分布式训练,演变为一群Agent各自练习不同技能,再将经验汇总到同一个共享技能库中。
训练成果,不再只是权重
在深入了解之前,有必要先聊聊背景。
ASPIRE让机器人通过代码执行任务,失败后查看多模态执行轨迹,修改程序,最后将修复后的经验存入不断累积的技能库(Skills Library)。

这个所谓的Skill,本质上是喂给大模型的一段上下文,但它沉淀的是一套经过验证的代码修复模式(Code Repair Pattern)。它告诉机器人:以后遇到类似问题,你应该如何修改控制程序。

举个例子。机器人准备拿起一台收音机,目标识别没有问题,但就是无法靠近。Agent分析后发现问题不在于识别,而是规划器给出的目标点都落在了障碍物的碰撞缓冲区内。于是,ASPIRE在这个经验基础上,总结出一条新Skill:
如果遇到这种规划失败,就尝试从45°、90°、180°等不同角度重新接近目标,直到找到一条无碰撞路径。
以后再有类似场景,不管目标是收音机、微波炉还是其他家具,这条经验都能直接复用,无需重新试错。
说到这里,你可能会觉得奇怪:机器人训练,不都是依靠数据、梯度下降、模型权重、真机采集、仿真到现实迁移那一套吗?怎么突然变成了积累技能?
这就必须提到近期非常火热的范式——Code as Policy。与端到端的VLA策略模型不同,Code as Policy不让模型直接输出机器人动作,而是让大模型编写一段可执行的机器人控制程序。程序里可以调用感知模块、规划API和控制原语,如识别物体、规划路径、移动机械臂、执行抓取。这样一来,机器人行为就不再完全隐藏于神经网络权重中,而是变成了可执行的操作代码。有了代码,后续工作就变得简单——如今强大的Agent模型可以检查它、修改它、调试它,并持续优化。
但过去的Code as Policy有两个硬伤。首先,机器人失败后,系统通常只知道“任务未完成”,却不知道是感知错了、抓取没抓稳、路径规划撞了,还是恢复动作出了问题。其次,也是更关键的,它没有记忆。一个任务完成后,调试过程中发现的修复方案、恢复策略、prompt写法全被丢弃,下次遇到类似问题,一切都要从头开始。
所以Jim Fan才会说:
(有了ASPIRE)当机器人完成第100个任务时,它终于不再像完成第1个任务时那样一无所知。

整个过程,与人类机器人工程师的做法如出一辙:程序失败后,回放执行过程,查看感知结果,分析运动轨迹,判断到底是哪个环节出了问题。修复后,记录经验。下次再遇到桌边物体、抽屉把手、窄空间导航,就不会再从零开始。ASPIRE所做的,就是把这套经验积累机制交给Agent。它不仅让大模型编写机器人代码,更让大模型在执行环境中反复尝试、反复观察、反复修复,最后将验证过的修复经验沉淀为Skill。
因此,在ASPIRE中,训练已经不仅仅是梯度下降。训练过程变成了Skill Refinement;训练产物,也不只是模型权重,而是一个机器人不断积累、持续成长的Skills Library。
三阶段流程
这一思想在论文中实现为三阶段流程。

首先是机器人执行引擎。传统机器人程序失败后,系统只告诉你任务未完成。ASPIRE会将失败拆解——每一次感知、规划、抓取、控制调用,都留下输入、输出、视觉证据和错误日志。就像人类工程师调试机器人时会回放视频、查看轨迹、分析原因,ASPIRE把这套操作交给了coding agent。
接下来是技能库。Agent修复程序后,会将这次经验转化为可复用的知识,而不是丢弃。

官网技能库中能看到非常具体的条目:比如SAM3文本提示如何编写、桌边物体需要多角度接近、抽屉把手如何过滤假检测、平面物体推动时该用哪种motion primitive。这些不像传统模型权重,更像是机器人程序员的踩坑笔记,每个经验都极具实用价值。
最后是进化搜索。一个Agent不只沿着单条修复路径往下试,系统会生成多条候选控制程序,让它们进入执行环境运行,再根据幸存程序和失败轨迹继续迭代。在软件工程中,coding agent已经习惯了写代码、跑测试、看trace、改bug。ASPIRE所做的,就是把这套循环搬进物理世界,让机器人也具备类似的迭代能力。
实验验证
论文在三个经典机器人基准上进行了测试:LIBERO-Pro、Robosuite和BEHA VIOR-1K,分别覆盖泛化操作、接触密集型操作以及长时家庭任务。整体结果均显著优于此前的Code as Policy方法。
例如,在Robosuite的双臂物体交接(Bimanual Handover)任务中,ASPIRE将成功率从20%提升到了92%,展现了强大的性能提升。

在泛化能力方面,研究先在LIBERO-90上不断积累Skill Library,再直接迁移到从未见过的LIBERO-Pro Long长任务,中间没有针对新任务进行训练,也没有更新技能库。

结果非常直观:随着技能库越来越丰富,机器人在新任务上的成功率也一路提升,从几乎不会做,到最终达到31%。换句话说,Skill Library越厚,机器人越不像一个新手,表现愈发成熟专业。
作者介绍
在技术博客的最后,英伟达也公布了完整的作者名单,他们都是推动具身智能发展的关键人物。

依旧是GEAR团队的老面孔:Jim Fan、朱玉可、Guanzhi Wang、石冠亚等人。排在最前面的三位作者为共同贡献。其中,Runyu Lu目前是密歇根大学博士二年级学生,正在GEAR实习;Yuubo Wu来自伊利诺伊大学厄巴纳-香槟分校(UIUC),Ethan Kou则来自加州大学伯克利分校,目前还是一名本科生,展现了年轻人才的活力。
值得一提的是,就在昨天,英伟达也宣布扩大国内机器人团队招聘,在北京、上海、深圳三地开放了不少岗位,覆盖具身智能、仿真、机器人部署和解决方案架构等方向,进一步深化布局。

感兴趣的同学们,准备简历,机会就在眼前!
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:英伟达开源机器人技能库 具身智能范式变革 Jim Fan要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点江西赣州公布一起高速公路交通事故调查报告,一辆长安启源A07轿车追尾违法停靠的货车致3人死亡。数据显示,驾驶员开启车辆IACC辅助驾驶功能后,双手脱离方向盘,从功能开启到发生碰撞仅约40秒。报告认定事故原因为轿车驾驶员分心驾驶及货车违法停车。此事再次引发对L2级辅助驾驶安全使用规范、驾驶员教育及责任
多位小米YU7GT真实车主近期分享了驾驶体验。有女性车主对比其曾拥有的奔驰、保时捷等豪华品牌车型后,认为YU7GT的驾驶质感和舒适度更优。车辆在动力调校上注重平顺性,减少了电车常见的拖拽感。其硬件配置规格较高,搭载了蛟龙底盘大师版,包含双阀CDC减振器、闭式双腔空气悬架和eLSD电子限滑差速器。
随着芯片制程不断微缩,先进制造面临前所未有的计算挑战。台积电宣布全面引入英伟达CUDA-X加速计算与AI技术,覆盖从设计到量产的多个核心环节。其中,计算光刻环节采用cuLitho库后,成本效益或生产周期最高可提升50%;晶体管模拟环节的化学仿真速度平均提升50倍。此外,机器学习库加速了工艺数据分析,
苹果首款折叠屏手机iPhoneUltra近日确认将采用液态金属作为其铰链的核心材料。液态金属以其高强度、耐腐蚀和耐磨损的特性,非常适合应对折叠屏铰链数十万次开合的耐久性挑战。据悉,样机已送往全球运营商进行网络兼容性测试和认证,标志着产品已进入上市前的关键阶段。该机预计将配备7 8英寸内屏、5 5英
- 日榜
- 周榜
- 月榜
热点快看
