百万小时人类视频预训练验证：机器人学习新范式下的分工与局限

事件概述

随着具身智能技术的发展，多家机构正在探索如何利用海量人类操作视频来加速机器人的学习过程。10月10日，星动纪元开放了VPP2模型的前两段权重，该模型将机器人学习过程分为任务预测、视觉规划及动作学习三个阶段。与此同时，Dyna Robotics、Figure AI、Skild AI等团队也在不同维度推进基于人类视频的研究。这些努力共同指向一个趋势：通过扩大人类视频的预训练规模，让机器人更好地理解任务逻辑和世界变化，从而减少对稀缺机器人示范数据的依赖。

核心信息

1. 规模效应验证：百万小时视频带来质变

Dyna Robotics发布的Dyna-2模型通过“转钥匙”实验验证了预训练数据规模的重要性。研究者对比了四组模型，分别使用1,000小时、1万小时、10万小时和100万小时的人类第一视角视频进行预训练，随后在相同的机器人示范数据下进行微调。

• 结果：前三组模型均失败，而使用100万小时预训练的模型在10次测试中成功9次。
• 结论：在后续机器人训练条件相同的情况下，更大规模的人类视频预训练能显著改善真机执行结果。这证明了人类视频可以作为通用的经验库，弥补机器人本体数据的不足。

2. 技术路径：人类视频的三种角色

当前研究并未采用单一方案，而是让人类视频在训练链中承担不同职能：

• 预测世界变化（World Model）：

  • Dyna-2：从视频中提取三维手部运动（位姿、抓握信号），同时学习动作及其导致的画面变化。离线实验显示，加入未来画面预测后，模型对39项任务的预测能力全面优于仅学习动作的模型。
  • NVIDIA DreamZero：利用12分钟无标签人类第一视角视频补充训练，使机器人在未见任务上的平均进度从38.3%提升至54.3%。其特点是将未来画面预测直接参与行动决策。

• 说明任务意图（Task Instruction）：

  • 清华大学 & 星动纪元：开发了两阶段训练模型，第一阶段使用超25万段人类/机器人示范视频，第二阶段使用约7,000段配对视频。模型结合初始场景画面，生成完成任务的过程表示，并接入动作策略。最终部署于xArm7机械臂与XHand灵巧手。

• 连接视觉与动作（Vision-to-Control）：

  • 智元 τ0-WM：使用约27,300小时异构数据（含3,000小时人类视频）。人类视频监督未来画面，机器人数据监督可执行动作，实现数据分工。
  • VPP2：将任务过程交给视频模型处理，具体控制留给后续动作学习模块，重点解决视频预测与机器人动作的交接问题。

3. 关键挑战：从“看得懂”到“做得出”的鸿沟

尽管视频预训练提升了任务理解能力，但将视觉经验转化为物理执行仍面临巨大障碍：

• 物理可行性缺失：DreamZero在一次“面包入烤箱”任务中失败。模型生成的未来画面中，机器人拿起面包后直接放入烤箱，遗漏了“打开烤箱门”的关键步骤。这说明仅靠视觉预测无法保证动作序列的物理完整性。
• 评测指标差异：北京大学等机构提出的RoboWM-Bench评测体系指出，视频模型生成的动作在转换为机器人控制信号时存在失真。例如，Wan 2.6生成的视频经转换后，关闭抽屉仿真成功率仅为50%，拾取物体为20%，放入抽屉为0%。
• 跨身体适配难题：Dyna-2.1团队发现，直接将人类运动映射到机器人关节可能导致接触点偏移。新的解决方案是先确定手腕、手肘等在任务空间的目标运动，再由控制器协调关节，以避免动作标签偏离实际接触位置。

值得关注

• 数据分工的确立：行业逐渐明确“人类视频积累通用经验，机器人数据解决特定身体控制”的分工模式。这种分工有望降低机器人数据采集成本，提高新动作的学习效率。
• 真机表现的持续检验：虽然Dyna-2的钥匙实验提供了积极信号，但这种性能提升能否在更多样化的机器人平台、更复杂的长程任务中复现，仍需进一步验证。
• 评估体系的完善：现有的成功率、任务进度等指标难以全面反映视频到动作转化的质量。未来需要更关注物理仿真环境下的执行稳定性、接触约束处理能力以及长时间运行的可靠性。