杨立昆提出H-JEPA世界模型：以分层推理挑战Agent与RSI主流叙事

事件概述

Meta前首席AI科学家杨立昆（Yann LeCun）发布了关于H-JEPA（Hierarchical Joint-Embedding Predictive Architecture，分层联合嵌入预测架构）的研究成果。作为JEPA的演进版本，H-JEPA旨在解决长程规划中的误差累积问题，并以此为基础，对当前AI领域流行的Agent（智能体）开发范式及递归自我改进（RSI）路线提出了理论层面的质疑。

核心信息

1. H-JEPA的技术机制：分层推理

• 架构原理：H-JEPA将多个JEPA模块堆叠。每一层包含观察编码器、动作编码器和潜在预测器，分别在各自的抽象空间中预测不同时间跨度的状态。
  • 底层：处理细粒度、短期的状态预测。
  • 高层：处理宏观、长期的目标设定。
• 规划逻辑：采用反向顺序。高层先制定粗略的目标状态，将其转化为下一层的子目标，直至最底层输出具体动作。这种设计模拟了人类从“北京去上海”到“迈哪只脚”的分层决策过程。
• 性能表现：
  • 在Visual AntMaze迷宫任务中，三层H-JEPA的成功率为73%，而单层LeWM仅为18%，证明分层能有效抑制长任务中的误差累积。
  • 在Push-T短轨迹任务中，两层表现最佳，三层和四层反而下降。原因是短任务限制了高层可用的训练数据（四层仅能利用约14%的可迁移数据）。这表明层数并非越多越好，需匹配任务复杂度与数据量。

2. 反对主流Agent叙事：预判优于试错

• 批判点：当前主流Agent（如OpenAI、Anthropic相关实践）倾向于通过增加Token数量、细化步骤和多次尝试来完成任务（即“说一句话、看反应、不行再换”）。
• H-JEPA方案：真正的Agent应在行动前在潜在空间内模拟短、中、长期的后果，再选择动作。杨立昆指出，无法预先预测行动后果的系统不能称为真正的Agent。
• 效率优势：相比扁平模型在单一粒度上无限扩张，H-JEPA通过向上扩张抽象层级，降低了规划的计算量，避免了逐层展开带来的搜索空间爆炸。

3. 反对RSI（递归自我改进）：放大器非创造者

• 核心观点：杨立昆认为RSI仅是已有能力的“放大器”，无法凭空产生缺失的能力（如多模态理解、复杂推理）。语言模型的RSI只能提升语言能力，无法自动获得其他维度的智能。
• 验证困境：RSI的有效运作依赖于可验证的判断标准（如代码测试通过与否）。而在物理世界或无明确奖励信号的场景中（如机器人操作），缺乏客观评分标准，导致RSI难以有效运作。
• 实验佐证：在DROID实验中，若仅让模型预测，会出现“慢特征坍缩”（忽略动态机械臂，只记住场景背景）。必须引入人为设计的逆动力学约束才能恢复规划能力，这证明了外部约束比内部递归改进更关键。

值得关注

• 技术落地时间线：杨立昆早在2022年论文《一条通往自动机器智能的路》中便提出分层JEPA概念，此次发布的H-JEPA是四年后首个可复现的完整实现。
• 行业对比：该研究与当前依赖RLHF（基于人类反馈的强化学习）和大规模自旋（Self-Spinning/RSI）的主流大厂路线形成鲜明对比，强调了“世界模型表征”在通向AGI过程中的基础地位。