NVIDIA在CVPR发布物理AI代理技能，加速自动驾驶、机器人与视觉AI研发

事件概述

NVIDIA在CVPR 2026（6月3-7日）上发布了新的物理AI Agent技能，基于开源前沿模型Cosmos 3，构建从数据生成到策略评估的端到端工作流。技能覆盖自动驾驶、机器人和视觉AI三大领域，并包含最新发布的32B参数VLA模型Alpamayo 2 Super。

自动驾驶

• Neural Reconstruction：将车队数据转化为可编辑3D场景，支持仿真和合成数据生成。
• InstantNuRec：无需逐场景优化即可完成3D高斯路况重建。
• AlpaGym：开源闭环强化学习框架，连接策略部署与高保真仿真，可扩展至数千GPU。
• OmniDreams：动作条件生成式世界模型，实时生成对策略动作响应的相机帧。
• Alpamayo 2 Super：32B参数开放VLA模型，实现全栈推理、规划与执行，推动L4级自动驾驶安全规模化。

机器人

• Isaac Sim 6.0：集成Agent技能和连接器，自动化场景准备、仿真与机器人学习。
• Isaac Lab技能：支持强化学习设置、训练、评估和自定义环境。
• Isaac移动性技能：导航工作流（场景搜索、USD转换、环境注册、残差强化学习、策略评估）。
• Cosmos-H-Surgical-Simulator：从真实手术数据生成仿真数据，缩小sim-to-real差距，支持自主手术任务开发。

视觉AI

• Metropolis技能：生成合成视觉场景（包括异常），数据增强和伪标签。
• Defect Image Generation：结合Isaac Sim、Cosmos 3和OSMO，在真实图像基础上生成不同表面的多种缺陷。
• VSS Blueprint技能：视频搜索与摘要，从海量视频中提取洞察，支持事件检测、复杂场景推理、活动摘要和告警。

其他发布

• 开放挑战赛：AI City Challenge（第十年）、PAI-AV Reasoning Challenge（因果链标注评估VLA模型解释）、AlpaSim闭环端到端驾驶挑战赛。
• 数据集：NVIDIA Physical AI数据集在Hugging Face下载超1500万次；GRAIL数据集含约50小时人形物交互数据；6个合成视频数据集用于训练Cosmos 3（涵盖机器人、物理、数字人、自动驾驶、仓库安全、空间推理）。
• 可用性：GitHub开源；NVIDIA Brev提供“Physical AI Launchables”预配置环境（含H100 GPU免费试用额度）。