原力灵机发布具身世界模型DW0.5,将强化学习引入虚拟环境,真机数据需求骤降60%
2026/07/16 10:30阅读量 2
原力灵机发布具身世界模型DW0.5,将其作为VLA模型的后训练环境,通过Video Expert、Action Expert、Value Expert三大模块,在虚拟世界中模拟动作后果并生成奖励信号,实现强化学习闭环。该方案使后训练中真机数据需求降低60%,训练成本下降40%,并在多项任务中显著提升成功率。
事件概述
原力灵机发布旗下首款具身世界模型DW0.5,并将其接入世界模型驱动的具身智能后训练框架DFOL 2.0。该模型旨在解决VLA(视觉-语言-动作模型)后训练中缺乏低成本反馈闭环的问题,通过在虚拟世界中模拟动作后果,为强化学习提供密集的奖励信号,从而减少对真机数据的依赖。
核心信息
- DW0.5定位:作为高保真仿真器,将强化学习搬进虚拟世界。VLA给出候选动作后,DW0.5预演未来并判断成功、失败与偏离风险,反馈给强化学习。
- 三大专家模块:
- Video Expert:模拟动作执行后的未来视频状态。
- Action Expert:将动作作为结构性强先验,通过MoT注意力实现帧级对齐。
- Value Expert:对任务进度打分,将稀疏的任务结果转化为密集的中间反馈,价值-排序相关性达95%以上。
- 数据来源:包括具身公开数据与自采机器人数据、互联网视频、第一视角人类活动数据、真机与仿真rollout数据(覆盖偏离、卡住、恢复等中间状态)。
- 性能提升:
- 后训练中真机数据需求降低60%,整体训练成本下降40%。
- 打气球任务:“给气球打气”成功率从10%升至90%;“气筒插入气球”从10%升至100%。
- 晾衣服任务:“成功挂上衣架”从50%翻倍至100%;“衣架塞入衣服”从60%提升至90%。
- 叠纸盒任务:“叠右侧纸盒”和“叠左侧纸盒”成功率分别从35%提升至55%和50%。
- 基准测试:在EWMBench得分为4.73,WorldArena得分为73.54,均为全球SOTA(截至7月9日)。
- 部署状态:已在内部跑通DFOL 2.0后训练闭环流程,并接入原力灵机DexDev MaaS平台。
值得关注
原力灵机强调真机数据仍不可替代,世界模型目前仍需真机校准。未来随着视觉模型能力提升,现场人员可借助Ego相机采集操作数据,降低后训练门槛。
相关资源:
- GitHub: https://github.com/dexmal/opendw
- Hugging Face: https://huggingface.co/Dexmal/DW05-Base
