全球首个具身测试时后训练框架发布，银河通用WAM-TTT让机器人即学即用
2026/07/16 18:51阅读量 2
银河通用发布全球首个面向具身智能大模型的测试时后训练框架WAM-TTT，仅需人类未标注RGB视频即可在部署阶段快速适应新场景，无需重新预训练或大量机器人轨迹数据。该框架通过独立快速权重记忆模块，使机器人在部署后持续学习，有效解决了跨场景泛化衰减和灾难性遗忘问题，显著降低数据采集成本。
事件概述
银河通用正式发布全球首个面向具身智能大模型的测试时后训练框架WAM-TTT（World-Action Model Test-Time Training）。该框架首次将Test-Time Training（TTT）范式从NLP领域迁移至物理世界的机器人控制，使机器人能够在部署后“现学现用”——通过人类实拍视频快速理解当前任务场景，无需重新预训练或大量昂贵遥操作数据。
核心机制
WAM-TTT的底座是一个预训练好的世界动作模型（WAM），由视频专家和动作专家组成，二者通过联合注意力通信。整个流程中，WAM主体权重在部署时保持冻结，所有学习仅在独立的快速权重记忆模块（fast-weight memory）中完成。离线元训练阶段通过成对人类和机器人数据对齐人类视觉线索与机器人行为；线上测试时训练阶段仅用未标注的RGB视频更新记忆模块参数，模型随后输出动作完成新任务。
关键突破
WAM-TTT针对具身智能后训练的四大难题逐一突破：
- 降低数据依赖：仅用未标注人类视频即可完成后训练，任务成功率（74.1%）与使用专业遥操作数据基本相当，意味着一段普通人视频可近似替代昂贵机器人轨迹数据。
- 无需动作标注：完全跳过手部姿态估计等步骤，采用自监督学习让模型自行理解任务。对比试验显示，添加姿态估计后任务平均完成度从72.3%降至28.9%。
- 不改模型不重新预训练：对比WAM-COTRAIN（混入人类视频联合训练，成功率29.8%）和WAM-LoRA（参数高效微调，部分任务0%），WAM-TTT在相同任务上达到100%和88.9%，证明冻结基础模型、仅更新快速权重的策略更优。
- 避免灾难性遗忘：跨环境评测中，WAM-TTT在标准训练场与未知家庭环境下的性能保持率约75.6%，而仅靠上下文学习（ICL）的方案保持率仅14.7%（完成率从48.4%骤降至7.1%）。光照和物体位置变化下，WAM-ICL完成率仅12%～20%，WAM-TTT仍维持约60%。
行业意义
具身智能行业长期面临“训练时精通、部署时失灵”的泛化衰减痛点，每次更换场景需重新采集数据和适配模型。WAM-TTT的后训练范式将部署成本从遥操作级别压缩至手机拍摄级别，为规模化商业部署提供了可行路径。该框架补全了银河通用从预训练到部署后持续学习的技术闭环，也是其世界‑动作模型（WAM）系列的重要原创成果。论文地址：https://arxiv.org/html/2607.06988v2