智源悟界·Orca：先学世界如何变化，再谈理解、预测与行动

事件概述

智源研究院悟界·RoboBrain Orca Team发布技术报告《Orca: The World is in Your Mind》，核心思路是让模型先学习世界状态本身的变化规律（Next-State Prediction），再通过轻量读出模块实现理解、预测与行动。该工作获得海外研究社区关注，被评价为“更接近早期通用世界模型的形态”，并登上Hugging Face Daily Papers月度榜第一名。

核心方法：两种学习方式构建统一世界潜空间

• 无意识学习：从连续视频中学习自然、稠密的状态变化（如物体移动、手物接触），不依赖语言标注。
• 有意识学习：引入语言和事件条件，让状态转移被语义约束，学习稀疏但有意义的变化。
  两类学习共享同一目标——构建可表达世界状态并支持状态转移建模的“world latent”。

数据与基础设施

• 从互联网数据自动化筛选、标注，构建12.5万小时视频、1.6亿条事件标注、1150万条VQA。覆盖第一/第三视角交互、机器人视频、自然动态、事件级转移等。
• 基于自研FlagScale框架优化，包括FSDP2升级、分块交叉熵损失、前向/后向预取，在H100集群上实现训练吞吐量从0.66提升至2.91 Samples/Sec/GPU（4.4倍加速）。

实验验证：冻结backbone，只训练readout

团队在下游任务中冻结Orca backbone，仅训练轻量读出接口（文本、图像、动作），以分离world latent的作用。

• 文本读出：在状态转移、事件演化、动态运动理解等维度明显优于同类模型（4B规模），并非简单堆高平均分。
• 图像读出：强调未来状态合理性，能保持机器人形态、物体布局、指令约束，生成更符合真实交互的下一状态。
• 动作读出：预训练阶段未使用任何动作标签，下游仅用200条域内轨迹后训练，在物体/场景泛化的OOD任务中仍获得显著增益。尤其表现在失败恢复能力上。

消融实验与扩展性

• 分别移除无意识状态转移、有意识事件转移、VQA语言监督，三项目标各自贡献不同能力。
• 随着预训练数据规模增加，训练损失持续下降，未出现饱和；不同checkpoint显示文本、图像、动作读出同步提升，表明该路线具有scaling潜力。

总结与意义

Orca并非完成的世界模型，而是提出一个区别于“只关注单一输出模态”的坐标系：世界模型的核心应是学习世界如何被表征、如何变化，再支持理解、预测与行动。作者强调“The World is in Your Mind”，该路线未来可拓展至物理系统、生命过程、科学实验等更多领域。