CVPR 2026冠军奖论文揭示：VLA泛化瓶颈不在物理推理，空间表征才是关键
2026/07/17 14:22阅读量 2
中山大学与X-Era AI Lab团队研究发现，视觉-语言-动作模型在新场景下的性能下降主要源于空间建模错位，而非物理推理或动作控制能力不足。通过仅4K参数的轻量空间校准方法FTM，即可将LIBERO新视角任务成功率从48.5%提升至87.1%，参数量仅为全量微调的1/99。该工作获CVPR 2026首届计算透明度冠军奖，并提出“空间与物理可分离”观点，为原生世界动作模型（VWA）提供理论基础。
事件概述
中山大学与X-Era AI Lab在CVPR 2026发表论文《VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling》（获首届CVPR Compute Transparency Champion Award），以及ACM MM 2026论文《Robotic manipulation is vision-to-geometry mapping (f(v)→g): Vision-geometry backbones over language and video models》。研究指出，当前视觉-语言-动作模型（VLA）在新视角、光照、纹理和噪声下的脆弱性，主要来自空间建模的错位，而非物理推理或动作控制能力缺失。
核心信息
- 问题定位：VLA模型可拆分为空间建模（视觉编码器负责从图像恢复物体位置、朝向等空间结构）和物理建模（VLM与动作专家负责结合语言和空间表征生成动作）。视角变化首先扰动空间表征，再影响后续动作生成，后端物理推理能力实际上仍保留。
- 验证方法：提出one-shot鲁棒适应框架，通过极少量可学习参数校准视觉空间表征，其余部分不变。
- Feature Token Modulation (FTM)：仅引入两个全局可学习向量做仿射变换，约4K参数，将LIBERO新视角任务成功率从48.5%提升至87.1%。
- Feature Linear Adaptation (FLA)：在ViT编码器线性层中加入低秩更新，约4.7M参数，成功率90.8%，超越强LoRA基线（90.3%），参数量从467M降至4.7M（减少99倍）。
- 扩展测试：在LIBERO-V视觉扰动基准（含相机、光照、纹理、噪声四类扰动）下，FLA平均成功率94.8%，FTM以0.004M参数达90.5%。
值得关注
- 空间与物理可分离：论文明确提出空间智能与物理智能是两个可分析、校准、重组的层面。空间智能对应几何结构建模（三维位置、视角、遮挡、布局），物理智能对应动作、接触、因果后果建模。
- 原生世界动作模型（Veridical World Action Model, VWA）：基于“空间与物理可分离”观点，VWA主张预训练阶段应直接学习真实世界中的状态、动作和时空变化（如未来三维位置、运动趋势、接触状态等），而非先预训练语言/视频模型再后训练动作头。机器人动作可视为从密集物理预测场中读出的本体轨迹。
- 计算透明度认可：该工作获得CVPR 2026首届Compute Transparency Champion Award，表彰其在计算资源、实验方法和可复现细节上的示范性报告。