全球首个具身原生预训练模型LingBot-VA 2.0发布:机器人学会“预判未来”
2026/07/10 16:01阅读量 2
蚂蚁灵波发布LingBot-VA 2.0,这是全球首个从物理世界需求出发设计的具身原生预训练VA基座模型。该模型采用因果DiT+稀疏MoE架构,实现预判式控制而非简单反应式控制,在双臂任务中成功率93.6%,单GPU推理可达150Hz。通过Foresight Reasoning异步推理机制,模型能在机器人执行当前动作的同时并行预测下一步,并利用真实观测不断纠偏,避免漂移。
事件概述
蚂蚁灵波发布LingBot-VA 2.0,全球首个具身原生的预训练VA(Video-Action)基座模型。该模型从架构、数据到训练目标均为机器人量身定制,核心能力是从物理世界预测出发,提前规划动作,而非仅基于当前视觉帧做出反应。
核心信息
- 预判式控制:面对冰球对打、传送带抓取等动态场景,模型能预判目标未来位置,提前调整动作,实现“预判式控制”与“反应式控制”的本质区别。
- 技术架构:
- 语义视觉-动作分词器:新一代VAE,在像素重建同时对齐语义与动作信息,可从未标注网络视频中学习动作监督信号。
- 因果预训练:从头使用因果架构训练,天然匹配闭环控制的单向时间线,避免先双向再单向改造带来的知识损失。
- 稀疏MoE:视频主干总参13B,推理激活仅1.9B,总训练参15.3B,每token激活约2.5B。
- Foresight Reasoning:异步推理机制,机器人执行当前动作时模型并行预测下一步,并在每次真实观测返回时校准,形成“预测-执行-纠偏”闭环。
- 性能数据:
- 推理时间从基线965ms/chunk降至142ms/chunk,异步控制频率达225Hz,单GPU推理速度150Hz。
- 在RoboTwin 2.0基准上,干净场景、随机化场景、平均成功率分别为93.8%、93.4%、93.6%,全面优于π0.5等基线。
- 消融实验显示自研分词器相比通用VAE方案在50个任务Easy/Hard上提升8.6/7.1个百分点;多步预测辅助目标带来2.3倍训练加速。
- 真实任务测试:
- 整理桌面:长程记忆与双臂并行,机器人顺利完成为期较长的桌面整理。
- 传送带抓取:对运动目标的精准时间对齐,成功抓取移动物体。
- 抓薯片:精细视觉伺服与力度控制,成功抓取薄脆薯片。
值得关注
LingBot-VA 2.0的发布标志着具身基模正式从“基于数字世界模型的能力嫁接”转向“面向物理世界需求的原生设计”。结合此前蚂蚁灵波发布的LingBot-Depth 2.0(空间感知)、LingBot-VLA 2.0(动作执行)、LingBot-Video(视频推理效率),形成从“看清楚世界”到“理解物理世界”再到“在真实世界里连续行动”的完整机器人大脑2.0链条。
