RSS 2026 机器人操作论文亮点:少样本、强泛化成为主旋律
RSS 2026 在悉尼开幕,其 Manipulation 论文报告环节聚焦机器人操作的前沿突破。九篇精选作品共同揭示了行业趋势:通过人类视频学习、触觉手套迁移、仿真转真实训练等方式,机器人正大幅降低对海量标注数据的依赖,实现少样本与跨场景泛化。涵盖双臂协同、手术协助、水下操作等领域,安全机制与数据配比研究同样引发关注。
7月13日,机器人领域顶级会议 RSS 2026 在澳大利亚悉尼开幕。本届主会接收论文约160篇,Manipulation 环节展示了机器人操作的最新成果。一个显著趋势是:机器人正摆脱对海量标注数据的依赖,迈向“少样本、强泛化”阶段。以下是该环节精选的9篇代表作。
打破“数据匮乏”:向人类“借”经验
BiDemoSyn:一次演示生成数千条训练数据
华南理工大学团队提出 BiDemoSyn 框架。它将双臂操作拆解为“不变协调块”与“可变物体适应”两部分,通过视觉引导对齐和轨迹优化,仅需一段真实世界示范视频,数小时内可自动合成数千条多样化训练数据。实验显示,训练出的策略能鲁棒泛化到新物体位姿和形状,并实现零样本跨本体迁移。
DexImit:从单目人类视频学习双臂灵巧操作
上海人工智能实验室和清华大学联合提出 DexImit 四阶段管线:重建手-物交互三维结构、子任务分解与调度、合成机器人轨迹、数据增强。它能直接利用互联网上任意人类操作视频(甚至AI生成视频),极大降低训练数据采集成本。
TactAlign:触觉手套教机器人拧灯泡,无需配对数据
UC Berkeley 和 Meta 等机构提出 TactAlign。利用整流流将人类与机器人的触觉观测映射到共享潜在空间,无需配对数据集或人工标注。对齐锚点来自手物交互中的自然伪配对。在拧灯泡等高灵巧任务中,仅需不到五分钟的人类触觉数据,即可实现零样本迁移。
跨越“虚实与场景鸿沟”
手术机器人:Supervised Mixture-of-Experts 实现轻量级泛化
德国国家肿瘤疾病中心提出监督式混合专家(MoE)架构,可叠加在任意自主策略上。仅凭立体内窥镜图像,叠加 MoE 后的 Action Chunking Transformer 用不到150条演示数据学会“肠道抓取与牵拉”任务。在弱光、遮挡及全新抓取位置下仍保持稳健,并在离体猪组织上零样本泛化,初步完成体内猪手术验证。
Semantic-Contact Fields:融合触觉与视觉,实现类别级工具操作泛化
新加坡 A*STAR 和 NUS 团队提出 SCFields,将视觉语义与密集接触估计融合到统一三维表示。两阶段 Sim-to-Real 管线:仿真预训练接触先验,少量真实数据微调。在未见过的工具实例上实现类别级泛化,大幅超越纯视觉和原始触觉基线。
UMI-Underwater:水下抓取无需水下遥操作
斯坦福大学和哥伦比亚大学提出 UMI-Underwater。利用深度图作为陆地与水下域的通用表示,在陆地手持演示数据上训练模型,通过几何对齐零样本部署到水下。配合自监督数据采集管线,水下抓取性能全面超越纯RGB方法,甚至能泛化到仅在陆地数据中出现过的物体。
重塑“底层逻辑”
VLA模型数据配比实证研究:89个策略揭示最佳组合
Meta AI 利用4000小时操作数据和5000万视觉-语言样本,训练89个VLA策略并超六万次测试。结论:视觉-语言数据和跨本体机器人数据是“黄金搭档”,两者联合共训练显著提升泛化能力;离散动作token收效甚微。仅用机器人数据训练会退化大模型视觉语言理解,加入共训练后可恢复。
SID:两次演示、九成成功率,把机器人“滑”进安全区
香港科技大学提出 SID 框架。核心是物体为中心的运动场,通过学习规范化演示,在机器人偏离轨迹时提供纠正运动,将系统逐步拉回可靠操作区域;接近目标时运动场衰减,交由轻量级策略完成精细操作。在六个真实世界任务中,分布外初始条件下保持约90%成功率。
Contact-Grounded Policy:让灵巧手真正“感知”接触
UCSD、Brown 和 Sony AI 提出 CGP 框架,包含条件扩散模型预测状态-触觉耦合轨迹,以及学习到的“接触一致性映射”将预测转化为柔顺控制器可执行目标。在配备高精度触觉传感器的机械手上,操控、抓取和工具使用任务均显著优于基线。指出触觉应作为连接AI策略与物理现实的“接地”桥梁。
总结
从一次演示合成数据、两次演示实现高成功率,到从人类视频自动提取知识、触觉手套跨物种迁移,这九篇论文共同指向机器人操作正从“数据饥渴”走向“样本高效”。
