清华等机构开源GS-Playground：高保真渲染与并行物理仿真融合，实现零微调真机部署

事件概述

清华大学智能产业研究院（AIR）DISCOVER Lab联合谋先飞技术、原力灵机、求之科技和地瓜机器人，提出并开源了GS-Playground——一个专为视觉中心机器人学习打造的新一代通用多模态仿真框架。该框架首次将高吞吐量并行物理仿真与高保真批量3DGS渲染深度融合，在保证物理仿真精度与稳定性的同时，大幅提升大规模视觉驱动策略训练效率和仿真到真实迁移能力。相关论文已被机器人领域顶级国际会议RSS 2026录用。

核心信息

• 通用全场景兼容：GS-Playground自研跨平台并行物理引擎，原生支持CPU/GPU双后端及Windows/Linux/macOS全系统，无缝适配四足机器人、人形机器人、工业机械臂等全品类机器人形态，全面覆盖运动控制、自主导航、高接触精度操作三大任务场景。API兼容MuJoCo MJCF格式，现有项目近乎零成本迁移。
• 高性能并行物理引擎：采用广义坐标下的速度-冲量动力学公式，将接触与摩擦统一建模为混合互补问题（MCP），并通过投影高斯-赛德尔（PGS）求解器实现稳定求解。引入约束岛并行化和接触流形热启动机制，大幅提升复杂接触场景收敛效率。在Franka Panda动态抓取测试中，GS-Playground CPU后端在0.002s和0.01s时间步下均达到90/90的保持成功率，优于MuJoCo、IsaacSim等主流方案；在27自由度人形机器人多体交互基准中，单环境扩展到50个机器人时CPU后端吞吐达1015 FPS，相比MuJoCo实现32倍加速。
• 内存高效Batch 3DGS渲染：针对刚体环境设计高效剪枝策略，可将高斯点数量减少90%以上，峰值信噪比（PSNR）下降不足0.05。研发的批量3DGS渲染器在单张RTX 4090上，640×480分辨率下实现最高10000 FPS吞吐，最多同时渲染2048个场景。提出刚性连杆高斯运动学（RLGK）机制，实现视觉表征与物理对象的实时同步，无额外开销，解决动态场景渲染一致性。
• 自动化Real2Sim工作流：仅需输入单张RGB图像，数分钟内自动完成目标分割、背景补绘、三维高斯溅射/网格重建，输出仿真就绪（Sim-Ready）数字资产。团队基于此构建了Bridge-GS数据集，并在InteriorGS数据集上验证了泛化性。
• 全链路端到端验证：在GS-Playground中训练的视觉驱动策略，无需任何微调即可直接部署到真机。四足和人形机器人的运动策略实现zero-shot部署；视觉导航任务零样本真机部署；机械臂抓取任务零微调真实场景成功率90%。

值得关注

GS-Playground是行业内首个实现高吞吐并行物理仿真与高保真批量3DGS渲染深度融合的全栈仿真框架，从根源上突破了视觉驱动机器人学习在算力、显存和资产生成上的三大瓶颈。其自动化Real2Sim工作流大幅降低了高保真环境构建成本，且在全品类任务中实现了真正的零微调仿真到真实迁移。项目主页、论文及代码均已开源。