NVIDIA Cosmos 平台升级：推出全新工具链加速世界模型训练与部署
NVIDIA 扩展了 Cosmos 平台，新增 Cosmos Data Factory、Cosmos Framework 和 NIM 微服务等工具，旨在加速物理 AI 系统中世界模型的构建、评估与部署。该平台通过提供多模态数据合成、模型微调优化及高性能推理支持，显著提升了开发效率并降低了成本。目前已有保时捷、ANYbotics 等企业利用该工具链在自动驾驶、工业检测等场景取得实质性进展。
事件概述
2026年10月21日，NVIDIA 宣布扩展其 Cosmos 平台，引入新的训练工具、模拟检查点（Checkpoints）以及 Cosmos Data Factory 蓝图。这一更新旨在帮助开发者更高效地构建“世界模型”（World Models），即用于帮助物理 AI 系统理解和模拟现实世界的模型。目前，NVIDIA Cosmos 平台在六个不同的开源模型排行榜中均位列前五，为开发者提供了前沿的开源模型、数据、训练及优化工具。
核心信息
1. 强化数据构建：Cosmos Data Factory
Cosmos Data Factory 集成了用于大规模标注、策展、增强和评估数据的工具，特别针对物理 AI 的多模态、多感官数据需求进行了优化。
-
新增功能：GPU 加速的 Cosmos Curator 现已支持多模态多感官输入和处理块。
-
五大云原生蓝图：通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 提供以下生成式数据解决方案：
- 自动驾驶数据集生成：策展并标注驾驶数据，添加难以捕捉场景的合成示例以扩大训练覆盖范围。
- 图像属性增强：改变物体外观以改进图像搜索效果。
- 事件视频生成：将静态图像转化为罕见或危险事件的合成视频。
- 缺陷图像生成：为检测模型生成印刷电路板、金属和玻璃的缺陷图像。
- 视频数据增强：在保持场景结构不变的情况下改变现有 footage 的天气和光照条件。
-
实际应用案例：
- Porsche：通过 Voxel51 在 Microsoft Azure 上使用 Cosmos Data Factory，建立了大众集团品牌的共享自动驾驶数据飞轮。预计可减少高达 90% 的重复实地测试驾驶，并将开发周期缩短高达 85%。
- ANYbotics：使用 Cosmos Data Factory 生成了超过 1,500 个合成视频片段，结合 Encord 平台验证输出，训练工业机器人识别液体泄漏等设施间变化。
- Ultralytics：利用 Cosmos Data Factory 生成的针对性合成缺陷图像重新训练 YOLO 模型，提高了缺陷定位和召回率。
2. 模型训练与优化：Cosmos Framework
在 GTC Berlin 上，NVIDIA 扩展了 Cosmos Framework 的训练、优化和部署工具，将其作为代理技能应用于更多开源模型，包括 Cosmos 3。
- 支持的模型适配：开发者可以通过微调（Fine-tuning）和强化学习（RL）适配 GR00T、Alpamayo、QWEN、Pi0.5 及其他兼容 Hugging Face 的开源模型。
- 优化技术：支持蒸馏（Distillation）和量化（Quantization）以优化模型性能，并通过高性能推理进行部署。
- 应用案例：
- MicroAGI：对 Cosmos 3 进行后训练，专门用于第一人称操作任务。通过蒸馏，将 320 亿参数的推理模型压缩至 80 亿参数的 Nano 模型，且未损失精度。开发者可在 Roboflow 上标记数据并进行后训练，随后部署到 RoboFlow 托管或本地 NVIDIA GPU 上。
3. 测试与部署加速
- Cosmos 3 Nano 变体：专为仿真设计的新模型变体，允许开发者在可重复、难以捕捉的多视图多传感器场景中测试自主策略。配套代码支持在真实世界测试前，在交互式仿真中训练和评估自动驾驶车辆和双臂机器人的策略。
- NIM 微服务：更新的 NVIDIA Cosmos 3 NIM 微服务在已验证配置下提供高达 2 倍的推理速度提升，且无质量损失，同时实现亚秒级警报的视频连续分析。
- Metropolis Blueprint VSS 3.3：基于 Cosmos NIM 微服务的视频搜索和摘要蓝图，可将单个提示词转化为高效的视频 AI 应用，帮助团队在相同 GPU 资源下监控多 40% 的视频流。
- 应用案例：
- ADNOC：使用 Fogsphere 的 MistIQ 代理平台（基于 Cosmos 和 Metropolis VSS Blueprint）实时检测 65 个站点的安全隐患。对于罕见事件，利用 Cosmos Data Factory 生成合成训练数据，从而在不进行危险实地演练的情况下提高检测能力。
值得关注
Cosmos 平台采用完全模块化且开放的设计。开发者可以组合使用不同组件：利用 Cosmos Data Factory 生成训练数据集，使用 Cosmos Framework 训练和调整世界模型，最后通过 NIM 微服务 部署支持的 Cosmos 模型。这种端到端的工具链显著降低了从实验到部署的时间成本。