吴佳俊 IROS 2026：结构化表征是推理脚手架，迈向无演示物理智能体

事件概述

在 IROS 2026 的 RoBoWoMo 研讨会上，斯坦福大学计算机科学系助理教授吴佳俊发表了题为《Building Physical Agents via Structured Representations》的演讲。他探讨了如何利用结构化表征构建能在物理世界中执行任务的智能体，重点解决了机器人面对复杂、动态且包含未见物体时的感知、规划与推理问题。

核心信息

1. 物理世界的挑战：从“洗盘子”看状态推理

吴佳俊以厨房场景为例，指出机器人面临的难点不在于动作执行，而在于对初始状态的语义推理。例如，判断盘子是否已清洗、是否有洗洁精残留，或发现被遮挡的脏物。这些细微的状态差异会导致完全不同的行动策略（如直接放置 vs. 先清洁）。这要求系统具备适应不同环境、物体和目标的一致性推理能力。

2. 方法论：基于结构化表征的范式

研究团队建立了一套从原始输入（视频/语言）到控制动作的范式：

• 组合性抽象：利用基础模型从数据中发现具备组合性的抽象概念，形成一套领域专用语言（DSL），包含谓词（如物体脏净、空间关系）和原子动作（如“洗”，含前置条件和后置效果）。
• 端到端学习：感知和控制由神经网络完成，而符号层定义了动作的组合逻辑。该系统类似于数字空间中的编程智能体（如 Cursor），在物理空间中生成计划并执行验证。
• DSL 自学习：不再依赖人工编写规则，而是让基础模型从演示数据中学习重要的属性和动作定义，并通过符号化和数据验证来修正错误。

3. 关键技术突破

• 后训练（Post-training）的必要性：针对物理世界中大量未见过的新物体（如特定工业零件），通用前沿模型无法准确判断其属性或效果。通过将逻辑判断转化为可微的概率形式，利用演示数据进行反向传播监督，可以对模型进行后训练，从而适应特定场景。
• 神经规划器替代传统规划：最新工作将传统的任务规划器替换为神经网络。通过自然语言和图像作为提示，结合后训练的开源多模态模型，直接输出可执行的动作序列。这种方法显著减少了长时程任务中的人工干预，并能根据特定机器人的技能库上下文调整策略。

4. 前沿探索：无演示学习与零样本泛化

针对缺乏人类演示数据的情况，团队正在探索仅凭静止单视角图像推理物体交互方式的能力：

• 交互分布采样：系统能从静止物体图像中采样出可能的交互形式（如旋转水龙头、打开盒子）。
• 噪声数据下的鲁棒性：即使输入来自精度低、噪声大的 iPhone 三维扫描结果，模型仍能对洗碗机、冰箱等常见家电及新物体进行零样本泛化，推理出多种潜在的交互策略。
• 目标导向筛选：当前挑战在于如何从推理出的众多交互可能性中，筛选出符合特定用户目标的可行路径。

值得关注

吴佳俊的研究表明，单纯依赖大模型不足以解决物理世界的复杂性，必须引入结构化表征作为推理的“脚手架”。未来的方向是将规划、感知甚至 DSL 本身都纳入学习型框架，并进一步减少对人工演示数据的依赖，实现真正的自主物理智能。