李飞飞署名具身新论文：SimFoundry让Real2Sim替代Sim2Real，一段视频生成无限训练场景

事件概述

英伟达GEAR联合李飞飞团队、佐治亚理工学院等机构发布全新的Real2Sim系统SimFoundry。该系统只需一段普通RGB视频，就能自动生成一个可交互、可训练、可评测的机器人仿真环境，并在保持物体功能和Affordance的前提下自动更换物体、调整场景布局、生成新操作任务，从而扩展出几乎无限的训练数据空间。

核心信息

• 流程：SimFoundry采用三阶段Pipeline——Extraction（提取）、Generation（生成）、Augmentation（增强）。
  • 提取：利用深度估计、VLM和SAM 3等模型从视频中识别并分割出每个物体。
  • 生成：通过2D-to-3D模型生成物体三维网格，恢复位姿，推断关节结构，补充物理属性，最终构建精确的数字孪生（Digital Twin），可直接运行于IsaacLab等物理引擎。
  • 增强：在数字孪生基础上自动生成数字表亲（Digital Cousins），从三个维度扩展：改变物体外观/几何但保持功能（Object Cousins）；调整布局或加入新物体（Scene Cousins）；基于物体Affordance推导新操作任务（Task Cousins）。
• 评测结果：
  • 仿真评测与真实机器人表现高度一致，平均皮尔逊相关系数达0.911，最大排名违例（MMRV）仅0.018，优于此前最先进的PolaRiS框架。
  • 引入Digital Cousins后，真实世界任务成功率分别提升17%（Object）、21%（Scene）和40%（Task）。
  • 仅利用SimFoundry自动生成数据训练的策略，可零样本部署到真实机器人，在多步操作、双臂协作、带关节物体操作等任务上接近满分。
• 作者团队：第一作者Nadun Ranawaka Arachchige（佐治亚理工学院，NVIDIA GEAR实习），作者包括Josiah Wong、Jiangyun Fan（李飞飞团队）、Tianyuan Dai（朱玉可课题组），以及Jim Fan、李飞飞、徐丹飞、朱玉可、Ajay Mandlekar等知名研究者。

值得关注

SimFoundry打通了从真实世界到仿真、再回到真实世界的完整闭环，解决了传统Sim2Real中仿真环境人工搭建成本高、难以规模化的问题。其“数字表亲”机制能够低成本、自动化地生成大量语义保持一致的新场景和新任务，为机器人策略的泛化训练提供了可行路径。