NVIDIA展示前沿AI智能体如何驱动Omniverse仿真应用开发

事件概述

NVIDIA近期展示了开发者如何将前沿AI模型与NVIDIA Omniverse库相结合，以构建仿真应用程序、测试物理行为并指导设计改进。开发者通过自然语言指令引导AI智能体，审查结果并调整参数，而Omniverse库则提供GPU加速的物理、渲染和传感器模拟能力。以下案例展示了包括GPT-6 Astra在内的AI智能体在实际工作流中的应用。

核心应用场景与案例

1. 仓库环境人形机器人模拟器

• 目标：在自动化任务前，建立交互式仿真环境以探索任务行为和评估工作流程。
• 执行过程：产品经理Frank DeLise使用Astra将SimReady仓库和人形机器人转化为具有第一人称和第三人称视角的交互式模拟器。
• 技术实现：Astra被指示连接NVIDIA Omniverse库，包括物理引擎 (ovphysx)、场景更新 (ovstage)、渲染 (ovrtx) 和用户界面 (ovui)。同时利用SimReady (simready-foundation) 创建物理场景，并由Astra生成动画和应用代码以整合各项功能。

2. 自动驾驶测试工作流集成

• 目标：构建可复用的仿真环境，用于比较不同模型并追踪场景或传感器变化对下游驾驶行为的影响。
• 执行过程：仿真技术团队经理Doyub Kim请求Astra构建名为“Zero to Alpamayo”的仿真环境，基于旧金山Market Street地图。
• 技术实现：Astra规划工作流，分阶段连接资产创建、交通模拟、Omniverse RTX传感器模拟和Alpamayo驾驶模块。此外，通过Cosmos3-Nano实验改变录制视频中的天气和光照条件，对比驾驶模型在不同条件下的响应。

3. 基于传感器差异的数字孪生优化

• 目标：通过比较记录数据与模拟输出，为场景 refinement 提供基于KPI的反馈，确保仿真传感器与现实一致。
• 执行过程：RTX传感器验证专家Ashley Reid指导Astra和Claude Fable 5智能体比较 ovrtx 相机和原始LiDAR输出与记录数据。
• 技术实现：智能体从头创建了两个数字孪生并改进了两个现有孪生。在三天的迭代工作中，智能体测量差异、创建或修改OpenUSD场景并检查结果。修正措施针对缺失对象、几何形状和材料，接受标准取决于相机和LiDAR指标。

4. Robo Olympics：机器人技能测试

• 目标：在物理约束下测试机器人新动作的有效性。
• 执行过程：Omniverse工程和产品负责人Tae Kim利用体育视频和自然语言指令，指导Astra构建“Robo Olympics”，测试Unitree G1人形机器人的运动表现。
• 技术实现：Astra构建控制器并通过物理试验进行优化。Newton Physics Engine模拟行为，开源NVIDIA Warp框架加速计算，ovrtx 负责渲染场景和虚拟摄像头图像。实验显示机器人在100次模拟尝试中有64次成功跨越单栏架，为改进时机和控制提供了反馈。

5. 基于CAD的机器人拆解测试

• 目标：验证机器人工具是否能到达并移除产品部件。
• 执行过程：OpenUSD高级产品经理Jens Jebens指导Astra在PTC Onshape中建模汽车悬架，并在NVIDIA Isaac Sim中进行配置。
• 技术实现：Astra探索了由仿真告知的计算机辅助设计和工具修订。智能体测量可用空间，设计了机器人可用于拧紧悬架螺栓的扳手。仿真结果显示成功移除了悬架组件，为机器人策略训练奠定了基础。

6. 国际空间站浏览器可视化

• 目标：将3D模型、实时数据和界面结合，在浏览器中展示ISS模型。
• 执行过程：工程总监Nic Johns提示Astra组装NASA资产，形成带有遥测数据的OpenUSD国际空间站模型。
• 技术实现：通过单一提示构建应用，后续提示将场景切换至地球白天侧以显示行星。工作流使用Blender准备资产，Omniverse库负责渲染 (ovrtx)、场景运行时 (ovstage) 和流媒体传输 (ovstream)。

7. 捕获房间转化为测试环境

• 目标：将数字重建的房间转化为包含可编辑对象和准确物理行为的测试环境。
• 执行过程：Isaac工程应用团队Chirag Majithia指导Astra将立体相机捕获数据转化为可编辑的OpenUSD工作室。
• 技术实现：工作流结合PyCuSFM、FoundationStereo和nvblox进行重建，用户审查指导对象选择和放置。Astra组装生成的和Blender制作的资产，并使用USD Content Agents配置对象在仿真中的移动和交互方式。Isaac Sim测试指导了门和抽屉的碰撞和接触修订。

值得关注

• 开发范式转变：开发者不再需要手动编写大量底层连接代码，而是通过自然语言指令引导AI智能体完成资产组装、物理连接和渲染设置。
• 关键库组件：ovphysx (物理), ovstage (场景), ovrtx (渲染), ovui (UI), ovstream (流媒体) 等Omniverse库是支撑上述应用的核心基础设施。
• 迭代效率：在数字孪生优化案例中，AI智能体能够在三天内完成多次迭代，显著缩短了场景验证和改进的周期。