李飞飞团队新论文：Real2Sim方法成本低数据更丰富

当业界还在热议Sim2Real时，机器人领域的最新焦点已转向Real2Sim——即从真实世界到仿真环境的逆向迁移。

近日，英伟达GEAR联合李飞飞团队、佐治亚理工大学等顶尖机构，正式发布了一款突破性的Real2Sim系统——SimFoundry。

简而言之，SimFoundry只需一段真实世界的视频，便能自动生成一个可交互、可训练、可评估的机器人仿真环境。这绝非普通的3D场景重建——它能在保持物体功能与操作属性（Affordance）不变的前提下，智能替换物体、调整布局，甚至自动生成全新的操作任务。这意味着，一段真实视频不再仅对应一个仿真场景，而是能扩展出近乎无限的数据生成空间。

因此，SimFoundry不仅可用于训练机器人，还能可靠地预测不同策略在现实环境中的实际表现。

更关键的是，基于SimFoundry生成的数据所训练出的策略，能够零样本部署到真实机器人，在多步操作、双臂协作、带关节物体操作等复杂任务上实现真实世界迁移。

那么，这套系统究竟是如何实现的？

SimFoundry的核心贡献在于打通了场景生成、数据生成、策略评估与策略训练这一完整的Real-to-Sim闭环。

长期以来，机器人策略的训练高度依赖真实世界数据，但真实机器人采集数据不仅成本高昂、耗时巨大，且难以规模化。即使模型训练完成，真机测试同样受限于场景单一、成本高昂等因素。正因如此，研究人员开始将仿真环境作为机器人策略训练与评估的可扩展替代方案。借助自动化数据生成技术，能以极低的人力成本合成大量多样、高质量的训练数据，从而持续提升机器人的泛化能力。

与此同时，越来越多的研究表明，只要仿真环境足够逼真，其评估结果与真实机器人表现往往具有高度一致性。然而，新的挑战随之而来：构建一个具备真实几何、物理属性与交互能力的仿真环境，本身仍需要大量人工建模工作。

因此，近两年Real-to-Sim逐渐成为具身智能领域的热门方向。简单来说，Real-to-Sim旨在利用3D重建与生成模型，将真实世界快速转化为支持物理交互的仿真就绪（Sim-ready）环境，从而大幅降低人工搭建成本。

但现有的Real-to-Sim方案往往只解决其中某一环节：有的擅长重建3D场景，却无法生成训练数据；有的能进行策略评估，却依赖大量人工配置，扩展性不足。

SimFoundry的创新之处在于将场景构建、数据生成、策略评估与策略训练整合为一条完整的流水线。整个系统主要完成三项任务：

• 自动重建可交互、可仿真的数字孪生（Digital Twin）；
• 自动扩展物体、场景和任务三个层面的数字表亲（Digital Cousins），持续生成训练数据；
• 利用这些仿真环境同时完成策略评估与策略训练，形成从真实世界到仿真、再回到真实世界的完整闭环。

（注：数字孪生是对真实场景的精确复刻；数字表亲则保持场景的功能与交互方式不变，但对物体、布局或任务进行合理变化。）

为实现这一目标，SimFoundry设计了一套三阶段流程，概括为提取→生成→增强，即先理解真实世界，再搭建数字世界，最后批量创造新的数字世界。

第一步：提取——理解真实场景

系统输入一段普通RGB视频后，首先利用深度估计恢复三维点云，再通过视觉语言模型（VLM）和SAM 3等分割模型，将场景中的物体逐个识别、分割出来。每提取一个物体，就用图像修复（Inpainting）将其从画面中移除，继续寻找下一个目标，直到完成整个场景解析。

第二步：生成——搭建数字孪生

对于提取出的每个物体，SimFoundry会利用2D-to-3D模型生成三维网格，并结合FoundationPose等模型恢复其真实位姿；对于抽屉、柜门等关节物体，还会自动推导关节结构。

同时，系统进一步补充质量、摩擦力等物理属性，生成碰撞模型并修复穿模问题，最终导出可直接运行于IsaacLab等物理引擎中的仿真场景，完成数字孪生的构建。

第三步：增强——创造数字表亲

这是SimFoundry最核心的创新。在数字孪生基础上，系统自动生成Digital Cousins，主要从三个维度扩展：

• 改变物体外观和几何形态，但保持功能不变（Object Cousins）；
• 调整物体布局或加入新物体，生成新的场景（Scene Cousins）；
• 根据场景中的物体及其Affordance，自动推导新的机器人操作任务（Task Cousins）。

换句话说，一段真实视频不仅重建一个数字孪生，还能自动扩展出大量保持相同行为语义的新物体、新场景和新任务，为机器人提供几乎无限的训练数据。

为验证SimFoundry能否替代真实世界进行机器人训练与评估，研究团队在两套机器人平台、7类典型操作任务上进行了实验，分别验证了Real-to-Sim策略评估与Sim-to-Real策略训练两项核心能力。

首先是策略评估。实验结果显示，SimFoundry中机器人的表现与真实世界高度一致，平均皮尔逊相关系数达到0.911，平均最大排名违例（MMRV）仅0.018，相比此前最先进的评估框架PolaRiS有明显提升。

这意味着，研究人员可以在仿真环境中较为准确地预测策略在真实机器人上的表现，而无需反复进行昂贵的实机测试。

更大的亮点来自Digital Cousins。研究发现，相比仅使用数字孪生进行训练，引入Object、Scene和Task Cousins后，机器人在真实世界中的平均任务成功率分别提升17%、21%和40%。

同时，仅利用SimFoundry自动生成的数据训练出的策略，也能零样本部署到真实机器人，在多个操作任务上取得接近满分的成功率。

最后来看一下这篇论文的作者阵容。SimFoundry的作者团队相当豪华，几乎汇集了NVIDIA GEAR、佐治亚理工学院、斯坦福大学、UT Austin和多伦多大学等机构的核心研究者。

• 第一作者Nadun Ranawaka Arachchige来自佐治亚理工学院，目前在NVIDIA GEAR实习，师从徐丹飞；
• Josiah Wong、Jiangyun Fan等人来自李飞飞团队；Tianyuan Dai来自朱玉可课题组，此前同样曾在李飞飞团队学习；
• Masoud Moghani是NVIDIA GEAR与多伦多大学联合培养博士；Hang Yin曾参与BEHA VIOR项目，现已加入OpenAI。
• 此外，作者还包括Jim Fan、李飞飞、徐丹飞、朱玉可、Ajay Mandlekar、Ruohan Zhang、Wenbowen等机器人领域知名研究者。

参考链接

[1]https://arxiv.org/pdf/2606.28276v1

[2]https://research.nvidia.com/labs/gear/simfoundry/

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：李飞飞团队新论文：Real2Sim方法成本低数据更丰富要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题