清华AIR联合团队开源GS-Playground：融合并行物理与高保真3DGS渲染，实现具身智能视觉仿真真机零微调部署
清华大学智能产业研究院DISCOVER Lab联合多家机构正式开源新一代具身智能仿真框架GS-Playground。该框架已被机器人顶会RSS 2026录用，首次将高吞吐并行物理仿真与高保真批量3DGS渲染深度融合，渲染器在RTX 4090上最高可达10000 FPS并同时支持2048个场景；配合自动化Real2Sim工作流，在机械臂抓取等任务中实现零微调真机部署，真实场景抓取成功率达90%。
核心挑战与定位
视觉中心感知正成为具身智能发展的关键方向，但在高保真视觉渲染与大规模训练效率之间长期存在矛盾。现有仿真平台难以同时兼顾物理精度、渲染真实感与并行训练吞吐量，阻碍了视觉驱动机器人策略的规模化学习。
GS-Playground 由清华大学智能产业研究院（AIR）DISCOVER Lab 联合谋先飞技术、原力灵机、求之科技和地瓜机器人推出，定位为面向视觉中心机器人学习的通用仿真基础设施。论文已被机器人领域国际顶级学术会议 RSS 2026 录用，全栈框架正式开源。
自研高性能并行物理引擎
框架底层搭载自研的跨平台并行物理引擎，原生支持 CPU/GPU 双后端与 Windows/Linux/macOS 全系统运行，API 兼容 MuJoCo MJCF 格式，可零摩擦迁移现有仿真项目。在物理建模上，采用广义坐标下的速度-冲量动力学公式，将接触与摩擦统一建模为混合互补问题（MCP），并通过投影高斯-赛德尔（PGS）求解器实现稳定求解，在刚度约束和静摩擦保持方面优于依赖软接触正则化的传统方案。
为支持大规模并行训练，引擎引入了约束岛并行化与接触流形热启动机制。前者将无相互作用的刚体系统拆分为多个独立约束岛并行求解；后者利用前帧已收敛的接触冲量作为当前帧初值，将稳定堆叠场景中的 PGS 迭代次数从 50 次以上压缩至 10 次以内，显著提升复杂接触场景下的收敛效率。
关键性能数据：
- 在 Franka Panda 动态抓取摇晃测试中，CPU 后端在 0.002s 与 0.01s 两种时间步下均实现 90/90 的完整保持成功率，优于 MuJoCo、IsaacSim 与 Genesis 等主流方案。
- 在人形机器人（27 自由度）复杂多体交互基准中，当单环境扩展至 50 个机器人时，CPU 后端可维持 1015 FPS 吞吐，较 MuJoCo 加速约 32 倍，较 MjWarp 提升约 600 倍。
内存高效批量 3DGS 渲染与视觉保真
针对数千个高保真 3DGS 场景同时渲染带来的显存与算力瓶颈，框架设计了高效剪枝策略，可将高斯点数量减少 90% 以上，同时峰值信噪比（PSNR）下降不足 0.05，视觉质量几乎无损失。在此基础上，研发了面向批处理的批量 3DGS 渲染器，在单张 NVIDIA RTX 4090 GPU 上，640×480 分辨率下最高渲染吞吐量可达 10000 FPS，并支持同时渲染最多 2048 个场景，大幅提升单位算力下的渲染效率，与大批次强化学习训练工作流高度适配。
此外，框架提出刚性连杆高斯运动学（RLGK）机制，将 3D 高斯簇与对应刚体进行精准绑定，实现物理引擎和视觉表征的位姿实时同步，且不引入额外状态同步开销。即使在机器人快速运动、频繁交互的动态场景中，也能输出无伪影的渲染画面，保障训练数据的稳定性。
自动化 Real2Sim 工作流与数据集
GS-Playground 提供了一套“图像到物理”的全自动 Real2Sim 管线。仅需输入单张 RGB 图像，即可在数分钟内完成仿真就绪数字资产的全流程创建，涵盖目标分割、背景补绘、三维高斯溅射/网格重建等步骤，在保证视觉真实感的同时维持物理一致性。
基于该管线，团队构建了 Bridge-GS 数据集，在 Bridge-v2 基础上补充了场景与物体级的 3DGS 表征、物体级网格模型、6D 位姿标注及校准后的相机参数。同时在 InteriorGS 数据集上完成泛化性验证，证明管线对不同室内场景具备良好的适配能力。
零微调真机部署验证
在完整的端到端闭环验证中，仅在 GS-Playground 仿真环境中完成训练的视觉驱动策略，可直接部署至真实机器人，无需额外微调。实验结果包括：
- 四足机器人及人形机器人的运动策略成功实现 zero-shot 真机迁移；
- 视觉导航任务完成零样本真机直接部署；
- 机械臂抓取任务在零微调前提下，真实场景成功率达到 90%。
上述结果表明，该框架有效弥合了视觉感知与物理交互两个层面的仿真到现实鸿沟。