伯克利首次打通互联网视频到灵巧手真机部署

【导读】仅凭单目RGB视频，Do as I Do 成功将日常人类操作转化为 Sharpa Wa ve 机械手可执行的轨迹，填补了从视频到机器人灵巧操作数据的关键环节。

人类学习一项灵巧操作，靠的是什么？说到底，是从“观察”开始的。

孩子看别人打蛋、倒水、钉钉子，慢慢就掌握了技巧。但机器人不同，它想学会新技能，主要依赖“实践”——要么投入高昂成本进行遥操作，要么在仿真环境中反复训练，要么在精心布置的实验室里一遍遍采集真实数据。

实际上，能让机器人“观察”的资源早已海量存在。YouTube、第一视角数据集、各类生成式视频中，充满了人手与物体互动的素材。真正的瓶颈在哪里？并非数据短缺，而是缺少一个关键步骤：如何将这些充满噪声的单目RGB视频，转化为多指灵巧手可以直接使用的高质量动作轨迹？

UC Berkeley 的研究团队在这个难题上取得了突破。他们打通了整条链路：从真实场景的普通视频开始，先重建出4D的手-物交互过程，再将这些交互轨迹映射到拥有22个自由度的 Sharpa Wa ve 灵巧手上。这是第一条真正能从网络视频直接生成灵巧手执行轨迹的完整路径。

该路径生成了500条经过验证的轨迹，涵盖了20类操作动作，最终在双UR3e机械臂+双Sharpa Wa ve平台上，以50Hz的控制频率成功部署了10个真实任务。

问题一：“看见”不等于“会做”

要扩大灵巧机器人的数据规模，有三座大山必须跨越。

首先，单目RGB视频中的手-物交互，稳定重建并非易事。

真实场景视频中，运动模糊、遮挡和深度信息缺失是常态，物体种类也千差万别。像 FoundationPose 这类跟踪方法，一旦遇到轻微模糊，位姿就会丢失。而联合重建方法要么过度依赖实验室环境，要么只能处理预设的有限物体类别。缺乏稳定的4D手-物重建，人类视频对机器人学习而言基本形同虚设。

其次，带噪声的参考轨迹会严重干扰动作重定向。

以往的动力学感知动作重定向方法，如 SPIDER 或基于强化学习的跟踪，都默认输入是干净的MoCap真值数据。但现实情况是——从网络视频重建出的参考轨迹往往不干净：时间上不连续，接触关系混乱，甚至初始状态在物理上就不合理。这些问题一旦传递到后续优化阶段，就会全面崩溃。论文中的实验数据很有说服力：直接用基于采样的优化方法处理这类带噪声的轨迹，失败率高达75%。

最后，遥操作看似稳妥，但难以规模化。

遥操作虽然能获得真实的机器人数据，但成本过高——需要专业操作员、专用设备，且每个任务都要单独采集。想靠遥操作覆盖一小时内人类做饭视频中的丰富操作已极为困难，更不用说覆盖整个互联网上海量的人类视频了。

因此，Do as I Do 要回答的核心问题非常明确：仅凭单目RGB视频，不预设抓取模式，也不限定物体类别——机器人能否从“看见”真正走向“做到”？

解决方案

Do as I Do 的流程分为两步。

第一步：利用引导式扩散，稳定物体状态。

SAM 3D 能为单帧图像生成物体网格，但如果逐帧独立处理，结果容易漂移，时间连续性也难以保证。Do as I Do 的做法是：先选定一个锚定帧，在该帧中固定物体形状；然后在后续帧的流匹配去噪过程中，让当前帧的位姿采样结果向上一帧靠拢。这样既能保持物体形状一致性，又能使位姿轨迹更加连续。同时，系统根据2D点跟踪估计的物体旋转速度，自适应调整位姿，避免跟踪过于死板，减少不必要的错误翻转。

在150个真实场景视频的人工对比评估中，评估者在67%的样本里认为 Do as I Do 的跟踪结果优于 FoundationPose。而且大量样本中，多位评估者给出了完全一致的判断。

第二步：在噪声中寻找稳健的动作路径。

Do as I Do 在 SPIDER 的采样/MPPI优化框架基础上，增加了三个关键设计，专门应对从网络视频重建出的“脏”轨迹。

这些改进综合作用下，Do as I Do 在处理带噪声的真实场景参考轨迹时，将动作重定向成功率从25%提升至71%。

实验结果

重建能力基准测试（SOTA）

动作重定向基准测试

500条已验证轨迹的数据来源

最终覆盖了20类操作动作。这些动作绝非简单的拿取或放置，而是更贴近人类日常生活的复杂操作：放置、拿取、擦洗、涂抹、挤压、熨烫、刷涂、除尘、挖掘、擦除、倾倒、书写、搅打、搅拌、戳刺、压实、钻孔、锤击、切割、刷酱汁。

实机部署

这些轨迹并未停留在仿真阶段。研究团队从中挑选了10项代表性动作，在双UR3e机械臂+双Sharpa Wa ve灵巧手平台上，以50Hz的控制频率完成了真机执行。

这10个动作覆盖了不同物体形状和多种抓握方式：书写式三指抓握、力量抓握、掌侧抓握和平行伸展抓握。

Sharpa Wa ve 拥有22个自由度，尺寸接近人手，因此特别适合作为人类手部动作迁移的目标。像搅打、搅拌、锤击这种需要双手配合的操作，传统平行夹爪难以胜任。而 Wa ve 超过4Hz的手势切换频率和50N的指尖力，恰好能够支撑这些动作所需的力度和速度。

从重建、仿真（MuJoCo Warp，200Hz）到真实部署，研究团队始终将 Sharpa Wa ve 作为动作重定向的目标手型，将人类视频中的操作轨迹迁移到该本体上。EgoScale 同样将人类手部关键点重定向到该手型，CAIP 则在 Dexmate Vega 加双 Wa ve 平台上进行了评估验证。由于目标手型更接近人手，系统在将人类动作迁移到机器人时，需要跨越的形态鸿沟自然小得多。

筛选手册：为何95%的网络视频还不能直接使用

对于希望规模化利用人类视频数据的团队（包括从事 EgoScale 等方向的团队），Do as I Do 还提供了一个非常实用的提醒：视频并非越多越好，能否筛选出可用数据，其重要性不亚于数据数量。

研究团队分析了100DOH数据集中2000个10秒视频片段（这些片段已经过手-物交互筛选）：

结果相当直白：如果不经过预处理，直接将网络视频喂给机器人学习，真正可用的数据可能仅占约二十分之一。因此，Do as I Do 总结了一套数据筛选要点：检查手和物体是否始终在画面中，确认动作没有跨越镜头切换，排除相机运动过大的片段，识别 SAM 3D 可能失败的情况。对于任何想在灵巧手上打通“人类视频到机器人执行”这条路的团队而言，这套筛选流程将成为必不可少的基础环节。

结论：人类视频正在转化为机器人数据

在过去很长一段时间里，“Do as I Do”更像是人工智能领域的一个愿景——让机器人理解人类演示，然后将这些动作迁移到自身“身体”上。而现在，UC Berkeley 的这一研究正将这个愿景变为现实：输入一条视频链接，系统就能重建其中的手-物交互过程，并将其转化为 Sharpa Wa ve 可执行的22自由度关节轨迹。

从某种意义上说，世界上最大的操作数据集其实早已存在——它们就藏在人们每天拍摄、上传、分享的视频中。Do as I Do 的使命，就是将这些视频转变为灵巧手能够真正利用的数据。

观看，重建，重定向，然后执行。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：伯克利首次打通互联网视频到灵巧手真机部署要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题