复旦大学团队揭秘机器人从动作到操作的学习方法

这项由复旦大学与上海创新研究院联合完成的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.02466，有兴趣深入了解的读者可通过该编号查阅完整原文。

机器人学什么？这个问题比你想的复杂得多

假设你要教一个从没拿过任何东西的人学会做寿司。通常的做法是：请来一位大厨，让他一边演示一边讲解——"先这样握刀"、"然后把鱼片切成这个厚度"……这个过程需要大厨的时间，需要录像设备，需要整理标注，成本极高。更关键的是，这个人的每一个动作都依赖于大厨的指点，自己没有探索过任何东西。

当今最先进的机器人训练方式，走的几乎就是这条路。研究人员需要雇用操控员，让他们戴上操控设备，一遍又一遍地远程遥控机器人完成各种任务，比如"把胡萝卜放到盘子里"或者"把南瓜推到左边"。每一条这样的演示数据，都需要人类全程参与，既耗时又昂贵。谷歌、斯坦福等机构积累的顶级机器人数据集，动辄包含上百万条这样的演示，背后是巨大的人力投入。

正因如此，当前机器人智能面临一堵难以翻越的"数据墙"——机器人能做多少事，几乎完全取决于人类愿意花多少代价来演示。

复旦大学的研究团队在这篇论文中提出了一个不同寻常的问题：我们真的需要每一个动作都有人类来演示和标注吗？他们的答案是：不需要。他们认为，机器人的学习其实可以分成两件本质不同的事——学会"怎么动"，以及学会"该做什么"。前者不需要任何人类指令，后者才需要。由此，他们设计了一套名为"任务无关预训练"（Task-Agnostic Pretraining，简称TAP）的训练框架，让机器人先通过大量廉价的、没有任何标注的互动数据来掌握运动能力，再用少量带标注的专家演示数据来学习"该做什么"。

结果相当出人意料：在标准模拟测试平台上，TAP的表现超过了使用超过一百万条专家演示训练的顶级模型；而在真实机器人实验中，面对摄像头被人为移动位置这样的干扰，其他顶级模型的成功率直接跌至零，TAP却依然维持了25%的成功率。

一、婴儿是怎么学会抓东西的——比较发育学给机器人的启发

在讲研究本身之前，有必要先理解研究团队的出发点，因为这个出发点来自一个日常生活中非常熟悉的观察。

回忆一下婴儿是如何学会使用双手的。一个六个月大的孩子，从来没有人正式"教"过他如何抓握——没有父母站在旁边说"手指要这样弯曲，施加这么大的力气"。孩子是通过不断地乱抓、乱摸、把东西推倒再捡起来的过程，逐渐建立起对物体的感知能力的。这种探索没有目标，没有任务，纯粹是好奇心驱动下的随机互动。但正是通过这些"无目的"的互动，孩子积累了关于物理世界的丰富经验：圆形的东西会滚，轻的东西容易被推走，软的东西捏起来手感不同……这些知识，在孩子后来真正学着"去拿那个红色的球"时，发挥了至关重要的基础作用。

研究团队认为，机器人的学习完全可以借鉴这个逻辑。一个机器人在真正被部署到任务场景之前，完全可以先像婴儿一样乱"玩"一通——推推桌上的东西，随机移动机械臂，观察世界如何对自己的动作做出反应。这个过程不需要任何人类指令，只需要一台摄像头记录下"动作前"和"动作后"的画面。

这种数据在机器人学领域几乎是随手可得的，但长期以来被研究者丢弃，因为它没有语言标注，没有任务说明，被认为是"无用数据"。TAP框架的核心贡献，就是发现并证明了这些"无用数据"其实并不无用——它们是教会机器人"怎么动"的天然素材。

二、"废弃数据"是个宝——任务无关数据的两大来源

既然要用没有标注的互动数据来训练，那么这些数据从哪里来？

研究团队识别出两类随手可得的数据来源，它们在传统训练流程中都被扔进了垃圾桶。

第一类来自现有的大型数据集。目前机器人领域已经积累了一些大型数据库，比如BridgeData和Open X-Embodiment数据集，里面包含了各种任务的机器人操作视频。但问题是，这些数据集中有大量的演示和你当前想训练的任务根本不相关。比如你想训练机器人"把胡萝卜放到盘子里"，但数据库里还有大量"打开抽屉"、"擦桌子"的视频。在传统训练方式下，这些不相关的演示直接被丢掉了。然而，"打开抽屉"这个动作其实包含了大量宝贵的物理知识：机械臂如何精准接触目标、如何施力、如何感知阻力。这些知识，对于后来学"把胡萝卜放到盘子里"来说，有相当大的迁移价值。

第二类则更激进——让机器人自己去随机探索，产生数据。研究团队为此设计了一套自动化数据采集流程。具体做法是：先由人类操作员在机器人工作台上随意移动机械臂，密集覆盖机械臂能够到的空间，采集一批安全姿态作为"基础姿态库"。然后系统从这个姿态库中随机抽取路径点，生成机械臂运动轨迹，并且加入一个约束规则：如果机械臂在空中停留太久，系统会强制让它下降去碰触桌面，确保产生真实的物理接触动作而不是无意义的空中挥舞。整个过程中，人类的介入被降到最低，大约每三十分钟来换换桌上的道具就行了。这套流程产生的数据，研究团队称之为"自主随机玩耍"数据——机器人在无人监督的状态下，持续推、戳、扫桌上的各种物品，积累了大量有效的物理互动经验。

三、"逆向动力学"——从结果反推过程的训练技巧

有了这些无标注的互动数据，下一步是让模型从中学到东西。具体怎么学？这里有一个关键的技术设计，它有个听起来有点绕的名字：逆向动力学（Inverse Dynamics）。

用一个日常场景来理解这个概念。假设你拿到了两张照片：第一张是一个苹果好好地放在桌上，第二张是同一个苹果已经翻倒在桌子边缘。你能猜出两张照片之间发生了什么动作吗？多半能——有人推了一下苹果，大概从右边轻轻一推。这就是"逆向动力学"在做的事：给模型看"变化前"和"变化后"的画面，让模型去猜"中间发生了什么动作"。

这个训练方式有一个非常重要的副作用：它迫使模型去关注画面中真正发生变化的东西。苹果的位置变了，所以模型必须盯着苹果看；机械臂的角度变了，所以模型必须追踪机械臂。而那些没有变化的东西——背景的木纹，桌上的灯光，左角的咖啡杯——统统被模型学会忽略，因为它们对预测"发生了什么动作"没有任何帮助。

这恰恰解释了为什么用这种方式训练出来的模型对"背景变化"有更强的抵抗力。模型从一开始就没有依赖背景特征，它学到的是"物体和机械臂之间的关系"，而不是"在这种特定背景下做这个动作"。

在技术层面，研究团队将这个逆向动力学训练公式化为：给模型输入当前时刻的画面和下一时刻的画面，让模型预测这两帧之间发生的具体动作（机械臂在x、y、z三个方向分别移动了多少，旋转了多少角度，以及手爪是否张开）。模型通过最小化预测动作和真实动作之间的误差来不断优化自己。整个过程中，没有任何语言描述，没有任何任务说明，模型纯粹在学习"画面变化与动作之间的对应关系"。

四、两阶段训练框架——"先练身体，再练大脑"

整个TAP框架分为两个阶段，它们的逻辑关系就像体育运动员的训练体系：先练基本功，再练战术配合。

第一阶段，完全不涉及任何语言指令。模型接收的是大量的"无标注互动数据"，通过前面说的逆向动力学目标，学会理解物理世界的运作规律——机械臂如何精准触及目标、物体如何响应推力、什么样的视觉变化意味着什么动作。这个阶段的模型就像一个接受了密集体能训练的运动员，身体素质极好，但还不知道具体要打什么比赛。

第二阶段，才引入语言指令和少量专家演示。模型需要学习的是：当有人说"把胡萝卜放到盘子里"时，如何把这句话映射到它在第一阶段已经学会的物理能力上。这个阶段需要的数据量极少，因为模型不需要重新学习如何控制机械臂——那已经学好了。它只需要学会"语言指令"和"物理动作"之间的对应关系。

研究团队用一个很形象的比喻来说明为什么这个过程有效：第一阶段建立的是"如何移动"的通用能力空间，第二阶段的语言对齐实际上只是在这个空间里找到正确的出发点。如果没有第一阶段，模型既要学语言理解，又要从零开始学物理控制，两件事混在一起往往两件都没学好，尤其在数据稀缺的情况下。

在架构选择上，研究团队以Qwen2.5-VL（一个有三十亿参数的视觉语言模型）作为骨干网络，配合SigLIP视觉编码器处理图像输入，以及一个轻量级的两层全连接网络作为动作输出头。模型输出的动作是"相对位移"而非"绝对坐标"——也就是说，机械臂应该从当前位置向哪个方向移动多少，而不是直接去某个固定的空间坐标。这种设计使得物理能力更容易在不同任务和不同环境配置之间迁移。

五、在模拟器里的表现——用"废弃数据"击败百万条专家演示

研究团队在一个名为SIMPLER的标准机器人测试平台上进行了大规模评估，这个平台使用WidowX机械臂，设置了四种不同的操作任务：把汤勺放到布上、把胡萝卜放到盘子里、叠积木、把茄子放进篮子。每种任务都从两个维度评估：机械臂能否成功抓起目标物体（称为"部分成功"），以及能否完成完整任务包括精确放置（称为"完整成功"）。

在实验设置上，研究团队做了一个重要的公平性处理：OpenVLA、NORA、π?等顶级模型，都用了和TAP完全相同的、仅有五千条专家演示的数据进行第二阶段微调，以便公平对比。而TAP的第一阶段则使用了两万条从Bridge数据集中剥离出的、原本与目标任务无关的轨迹数据。

结果如何？TAP在"综合成功率"上达到了33.32%，而使用相同架构但没有第一阶段预训练的标准行为克隆基线只有23.15%——这意味着TAP在完全相同的专家数据量下，成功率提升了约十个百分点。更有说服力的是，TAP的表现超过了RT-1-X（3.03%）和OpenVLA（7.75%）这两个使用了超过百万条专家演示数据预训练的顶级模型，与Octo（31.31%）大致持平，虽然略低于π?（40.08%），但已经非常接近。

特别值得关注的是"部分成功率"这个指标。部分成功衡量的是机械臂能否成功抓起目标物体，这几乎完全取决于物理控制能力，与语言理解几乎无关。TAP在这个指标上达到了45.82%，与Octo的42.30%相当，接近π?的53.10%——而这两个模型都是用海量标注数据预训练的。这个结果非常清晰地支持了研究团队的核心假设：物理操控能力，确实可以在没有任何语言监督的情况下单独学习并达到相当水准。

随着第一阶段预训练数据量从八千条增加到一万四千条再到两万条，TAP的综合成功率也从24.47%、30.21%单调提升到33.32%，呈现出清晰的数据规模效应，而且曲线还没有明显的饱和迹象，意味着用更多数据还能继续提升。

六、真实机器人上的测试——当背景换了一块桌布，其他模型就"瞎了"

模拟器里的结果固然重要，但真正考验一个机器人训练方法的，是在物理世界里。研究团队在真实的WidowX 250机械臂上进行了超过六百次实验，设置了两个任务：把胡萝卜放到盘子里，以及把南瓜推到左边。

这两个任务被选择是有原因的：第一个测试精准抓取，第二个测试非抓取式的推动操作——后者要求机器人能持续施力并对球形物体的滚动偏移做出实时反应，难度更高。为了测试模型在超出训练分布时的表现，研究团队设计了五种测试场景，难度逐级递增。

在标准场景下，TAP的成功率分别是40%（抓胡萝卜）和75%（推南瓜），与使用了大量OXE数据集预训练的NORA模型（65%和85%）存在一定差距，这是正常的，毕竟NORA的预训练数据量要大得多。

真正分出胜负的是后面几个扰动场景。当桌上摆了一堆乱七八糟的水果作为视觉干扰时，基线模型的成功率骤降到5%，NORA降到60%，但TAP依然维持在65%的推南瓜成功率，并且在抓胡萝卜任务上也保持了30%。这说明TAP在第一阶段学到的是"追踪目标物体和机械臂之间的因果关系"，旁边多几个不相关的水果对它的判断几乎没有影响。

当桌布换成一块颜色鲜艳的布料时——背景纹理发生了根本性变化——NORA在推南瓜任务上的成功率降到55%，基线模型直接跌至0%，而TAP依然保持65%，完全没有受到影响。更极端的是摄像头位置被人为移动的情况，这相当于给机器人换了一双眼睛的视角：NORA和基线模型的成功率双双跌至0%，TAP仍然分别保持了15%（抓胡萝卜）和25%（推南瓜）的成功率。

从五种场景的平均成功率来看，TAP的推南瓜综合成功率达到61%，反而略高于NORA的56%。这意味着，仅靠三十小时的无人监督"随机玩耍"数据加上二百条专家演示，TAP在复杂、多变的真实世界场景中，实际上已经超越了需要上百万条专家演示才能达到的基线水准。

七、为什么有效——注意力地图揭示的机器视觉秘密

为了理解TAP为何在背景扰动下表现得如此稳健，研究团队使用了一种叫做Grad-CAM的可视化技术，让模型"告诉"我们它在看什么地方——也就是哪些区域的图像像素对它的决策影响最大，用热力图的形式呈现出来。

经过第一阶段预训练（没有任何语言输入）的模型，注意力几乎完全集中在机械臂和目标物体上——在模拟器场景中是胡萝卜，在真实场景中是南瓜。木纹背景、桌面细节全部被抑制，热力图在那些区域几乎一片冷色。这个结果直接验证了逆向动力学训练的设计逻辑：要预测"发生了什么动作"，你必须追踪发生变化的东西，而背景是不变的，所以模型自然学会了忽略它。

进入第二阶段加入语言指令后，注意力图发生了有趣的变化：焦点从"物体"进一步收窄到了"机械臂本身"。研究团队的解释是：语言指令起到了一种"剪枝"的作用——在第一阶段，模型识别到多个潜在的可操作物体，不确定该关注哪一个；加入"把胡萝卜放到盘子里"这条指令后，模型锁定了执行者（机械臂），全力确保动作精准执行。

在真实世界的换背景测试中，这种注意力模式保持了高度一致——即使桌面变成了一块彩色布料，模型的注意力图仍然牢牢锁定在南瓜和机械臂上，背景纹理对它几乎没有任何干扰。这从可视化角度直接证明了TAP学到的物理表示具有跨场景的泛化能力。

八、数据规模实验——预训练的多少，决定了能走多高

研究团队还做了一个系统性的"双轴扫描"实验：把第一阶段训练步数从两万步扩展到十万步，同时把第二阶段微调步数从两万步扩展到十万步，记录所有组合下的最终成功率，生成了一张完整的热力图。

这张热力图揭示了一个关键规律：最终成功率的上限，由第一阶段的预训练规模决定，而不是由第二阶段的微调步数决定。当第一阶段训练不足（只有两万步）时，无论第二阶段微调多久，成功率基本卡在18%左右，无法突破。相反，当第一阶段训练充分（十万步）时，成功率可以突破30%。在热力图上，颜色的深浅沿纵轴（第一阶段规模）的变化，明显大于沿横轴（第二阶段规模）的变化。

这个结果有一个非常直观的含义：如果想进一步提升机器人的能力，最有效的投入方向不是花更多钱请人类做更多专家演示，而是让机器人自己去更多地随机探索，积累更丰富的物理互动经验。这个结论对于降低机器人训练成本具有相当大的实践价值。

九、失败案例分析——它还做不到什么

研究团队对真实机器人实验中的失败案例进行了系统分类，发现大约四分之一的失败属于"执行层面"的问题：模型认对了目标，打算做正确的事，但在精细物理接触环节出了问题——机械臂末端从物体上滑开了、预抓取位置偏差了几毫米、或者从单个摄像头角度难以准确判断物体的深度位置。

而另外四分之三的失败属于"语义层面"的问题：物理执行本身非常流畅，但做的是错误的事。最典型的场景是，桌上有干扰物品时，机器人完美地抓起了一个干扰物，而不是目标物体。另一种常见的失败模式是，在需要连续多步操作的任务中，模型"卡壳"了，反复重复某个动作无法推进。

这个比例分布——75%的失败是语义问题而非执行问题——恰恰从侧面再次验证了研究团队的核心判断：TAP已经把"怎么动"这一关打得相当好了，当前主要的瓶颈在于"在复杂语境下搞清楚该做什么"，这需要更强的语言推理能力，是未来需要继续攻克的方向。

十、这意味着什么——机器人训练范式可能要变了

归根结底，这项研究传递了一个简单但具有碘伏性的信息：给机器人做大量昂贵的专家演示，未必是训练好机器人的唯一路径。

机器人自己去"玩"，然后用少量指导来对齐语言，这套路线在实验中表现出了令人意外的竞争力。更重要的是，这种方式天然产生了对外观变化的鲁棒性，因为模型从一开始就没有依赖背景特征，而是学会了关注物理世界的因果关系。

当然，这项研究也有它尚未解决的局限。测试的任务种类相对有限，都是单步或少步骤的操作；实验的机器人平台只有WidowX一种；更复杂的长程操作任务中语义推理的瓶颈尚未被攻克。但作为一个关于"廉价数据是否可以替代部分昂贵数据"这一问题的初步回答，这项工作给出的证据相当有说服力。

对于整个机器人研究领域来说，这项工作或许意味着：数据采集策略本身值得重新设计——与其全力压低专家演示的成本，不如先让机器人大量自主探索，建立扎实的物理先验，再用有限的专家指导来点题。这条路，在资源有限的环境下，或许走得更远。

对文章感兴趣的读者，可通过arxiv.org搜索论文编号arXiv:2607.02466查阅完整原文。

Q&A

Q1：任务无关预训练（TAP）和普通机器人训练方式有什么区别？

A：普通机器人训练需要大量人类专家一边遥控机器人完成任务一边录制，每条数据都需要人类参与，成本极高。TAP把训练分成两步：第一步让机器人自己随机探索，不需要任何人类指令，用这些廉价数据学习基本的物理运动能力；第二步才用少量专家演示数据让机器人学会"该做什么"。这样大幅减少了对昂贵专家数据的依赖。

Q2：TAP为什么在背景换桌布或摄像头角度变化后还能正常工作，而其他模型不行？

A：TAP在第一阶段训练时使用的是"逆向动力学"方法，让模型通过预测"两帧画面之间发生了什么动作"来学习。因为背景是不变的，模型自然学会了忽略背景，只关注会移动的东西（机械臂和目标物体）。所以背景换了也好，摄像头角度变了也好，模型关注的核心特征并没有消失，因此表现稳定。其他基线模型则在训练时把背景特征也学进去了，背景一变就"找不着北"了。

Q3：TAP用了多少数据，和顶级模型相比差距有多大？

A：TAP第一阶段使用约两万条无标注轨迹数据（或三十小时的机器人自主探索录像），第二阶段使用五千条（模拟）或两百条（真实场景）专家演示。相比之下，OpenVLA、Octo、NORA等顶级模型都使用了超过八十万到一百万条人类标注的专家演示数据进行预训练。在模拟测试中，TAP的综合成功率超过了这些顶级模型；在真实场景的多扰动条件下，TAP的平均成功率也与甚至超过了这些使用海量数据的模型。