具身智能“高考”结果出炉:人类满分100,最强模型仅12.8
2026/07/08 21:07阅读量 3
新基准RoboDojo发布,包含42个仿真任务和18个真实机器人任务,对30个主流机器人策略进行标准化评测。人类专家在真实世界成功率达100%,而当前最强模型π0.5仅12.8%,仿真环境最高平均成功率仅8.80%,显示通用操作机器人仍有巨大差距。
事件概述
由香港大学、北京大学等学术机构联合推出的具身智能评测基准 RoboDojo 正式发布。该基准覆盖仿真与真实机器人两大场景,被视为具身智能领域的“珠峰”级测试。
核心信息
- 任务规模:仿真环境42个任务,真实机器人18个任务。
- 评测策略:集成30个代表性机器人操作策略,包括 Hy-Embodied-0.5-VLA、π0.5、GR00T-N1.7、OpenVLA-OFT 等。
- 能力维度:泛化、记忆、精细操作、长程执行、开放语义理解五大能力。
- 人类基准:仿真平均成功率76.03%,真实世界100%。
- 模型表现:
- 仿真最高平均成功率:Hy-Embodied-0.5-VLA 达 8.80%(平均分13.07)。
- 真实世界最高成功率:π0.5 达 12.8%(平均分22.9)。
- 开放语义任务(Open)表现最弱,最强模型仅约1.67%。
值得关注
- 仿真≠真实:仿真中排名靠前的模型在真实环境下表现并不稳定,真实物理世界中的噪声、延迟、接触不确定性暴露了模型短板。
- 长程任务失败集中:模型常能完成部分步骤,但在对齐、插入、放置等关键环节失败,说明当前模型缺乏可靠的闭环执行能力。
- 标准化与开源:RoboDojo 提供统一硬件配置、评测协议和双盲打分,并配套 XPolicyLab 统一接入层,支持“一次接入,多处评测”。榜单由公益性组织 MMLab Club 基金会治理,无商业利益绑定。
- 意义:该基准将具身智能评测从 demo 驱动转向可复现的标准化赛道,暴露了当前模型在全面性、可靠性和泛化能力上的系统性不足。
项目网站:https://robodojo-benchmark.com/
论文:https://arxiv.org/abs/2607.04434
排行榜:https://robodojo-benchmark.com/LeaderBoard
代码:https://github.com/RoboDojo-Benchmark/RoboDojo
