OpenDriveLab 陈立提出组合式世界模型：将预测与评估解耦，让AI决策可追溯
2026/07/17 18:38阅读量 2
陈立在 RSS 2026 上发表演讲，提出组合式世界模型，将“预测未来”与“评估好坏”两个功能彻底拆分，使 AI 决策过程可检查、可追溯。该团队展示了 ReSim、Generation-then-Revise、World Engine 和 RISE 四项工作，分别覆盖自动驾驶安全仿真、操控任务价值引导生成、自动驾驶后训练基础设施以及机器人策略自我改进。核心观点：预测只负责推演后果，价值评估只负责判断好坏，二者的独立性是提升安全性和诊断能力的关键。
事件概述
具身智能中，当策略出错时，开发者往往难以定位原因：究竟是“预测错了”（对物理世界的预测不准确）还是“判错了”（对结果好坏的评估有误）？这种预测与评估的耦合被称为“黑盒幻觉”。在 RSS 2026 Workshop 上，OpenDriveLab 核心成员陈立提出组合性（Compositionality）原则：将世界模型的预测组件与价值评估组件彻底拆开，使各组件独立、专业化运作。
核心信息
- 问题背景：当前具身策略往往直接将观测映射为动作，但缺乏对动作后果的预判。即使使用世界模型，若预测与评估耦合于一个联合网络，则无法分辨错误来源，且无法保证可检查性。
- 组合式原则：预测组件只负责推演“做动作后会发生什么”，价值组件只负责判断“推演出的后果是好是坏”。两者可以共存于同一个大系统中，但保持功能独立。
- 诊断能力：当决策出错时，可明确归因于预测错误还是价值判断错误，便于定位和修复。
四项实践工作
- ReSim（自动驾驶可靠世界模拟）：结合真实数据（nuScenes）与CARLA仿真中的非专家动作数据，训练世界模型使其能预测危险后果，并利用 Video2Reward 模型提供奖励信号。在NAVSIM测试中规划得分达74.1分。
- Generation-then-Revise（操控任务价值引导生成）：引入期望优势评论器与多束搜索，策略先提出动作序列，轻量级触发器决定是否修正；若需修正，扩散模型展开多条候选路径并择优选择，实现“早退出”机制，减少不必要的推理。
- World Engine（自动驾驶后训练基础设施）：利用3D高斯泼溅（3DGS）重建真实场景为交互式环境，行为世界模型预测多智能体未来轨迹，3DGS渲染传感器观测。结合闭环后训练，提升策略处理长尾事件的成功率。
- RISE（机器人策略自我改进）：动力学模型接收历史观测和动作，预测多视角未来画面；价值模型评估任务进度并输出奖励。两个组件分别专业化（动力学注重视觉连贯，价值注重失败检测），训练完成后仅策略在机器人上部署，无世界模型推理开销。在动态分拣和物体操控任务上取得显著性能提升。
值得关注的要点
- 预测与价值评估的独立性：使系统可检查、可追溯，避免黑盒幻觉。
- 专业化优势：不同组件可用不同数据监督、独立扩展，且部署时策略不承担推理开销。
- 未来方向：更高效的世界模型基础设施、通用的价值模型（如Cosmos Token等新技术）、在保持组件专业化的同时实现系统整合。
Q&A 关键回答
- 价值模型目前是任务特定的，需在预训练基座（如 π0.5）上用域内数据微调；但对于域内泛化（光照、位置变化等），价值模型泛化能力可与策略模型媲美，因共享相同预训练基座并采用TD损失训练。