ICRA 2026：NVIDIA 八篇论文聚焦模拟到现实的机器人迁移

事件概述

NVIDIA Research 在 ICRA 2026 上共被收录 28 篇论文，其中 8 篇展示了模拟环境训练（sim-to-real）如何使机器人在动态、不可预测的真实场景中感知、推理、规划和行动。研究覆盖多臂并行协调、跨机器人身体的通用策略、杂乱环境抓取、精确装配，以及可提前推理的视觉-语言-动作模型。

核心技术与成果

• ScheduleStream：在 GPU（如 NVIDIA Jetson edge AI 平台）上并行计算多臂移动规划，相比传统顺序调度，跨臂规划速度提升 3 倍；代码已开源。
• COMPASS：通过模仿学习构建基础导航，再结合 NVIDIA Isaac Lab 中的残差强化学习训练，无需真实世界数据即可使不同形态机器人执行导航任务；平均成功率比纯模仿学习基线提升 4.5 倍，在自主移动机器人和人形机器人的 20 次实际导航试验中成功率约 80%。
• Grasp-MPC：机器人靠近物体时持续自适应修正抓取动作，而非执行固定路径；基于 GraspGen 数据集和 cuRobo 运动规划数据在 8000 个物体上生成 200 万个模拟轨迹进行训练，在杂乱桌面和架子上对新颖物体的整体成功率约 75%（基线 41%）。
• 可变形聚类操作（Deformable Cluster Manipulation）：利用整臂而非仅夹爪处理纠缠的柔性材料（如树枝），使用生物生长方程构建合成树并在 Isaac Sim 中训练，零样本部署到真实分支清理任务。
• SPARR：分两步解决精确装配——在 Isaac Lab 中训练通用装配策略，再在实际硬件上利用机器人自身相机学习纠正模拟误差；相比零样本 sim-to-real 基线，成功率提升 38%，周期缩短约 30%；在未见过的 NIST 装配任务上成功率提升近 75%，接近需人工介入的方法。
• 炼油厂框架（Refinery）：处理多顺序步骤装配任务，通过模拟成百上千种场景学习每一步的完成条件，并将组件放置到利于下一步的位置；模拟成功率 91%，平均比基线提升近 11%。
• PEEK：利用视觉语言模型解析任务指令，裁剪无关背景，突出关键物体后再交由策略决策；纯粹模拟训练的策略加入 PEEK 后实际准确率提升 41 倍，对大型 VLA 模型和小策略的收益在 2–3.5 倍之间，无需修改即可集成任何基于相机的策略。
• SEAL（与卡内基梅隆大学、犹他大学、悉尼大学合作）：解决模型推理正确但执行出错的问题；在运行时让机器人生成多个候选动作序列并模拟其结果，选择与意图最匹配的一个。相比此前工作，精度提升最高 15%，对改写指令、更换物体、场景杂乱和相机角度变化均具鲁棒性。

值得关注

NVIDIA 同时扩展了机器人研究基础设施：物理 AI 数据集（全球最大物理开发开放数据集）下载量超 1500 万次；Isaac GR00T X Embodiment Sim 已成为下载量最大的机器人数据集之一。