阿尔伯塔大学提出FAME框架：为持续强化学习建立可求解的数学原则

事件概述

加拿大阿尔伯塔大学强化学习团队（rlai lab）提出了一种名为 FAME (Principled Fast and Meta Knowledge Learners) 的持续强化学习框架，相关论文已被 ICRL 2026 收录。该研究旨在解决智能体在学习新任务时发生的“灾难性遗忘”现象，通过建立严格的数学理论基础和双系统协同机制，实现了类似人类海马体与大脑皮层分工的高效持续学习。

核心信息

1. 理论突破：从经验修补到原则性分析

传统持续学习方法多依赖经验性修复（如经验回放、参数正则化），缺乏统一的算法基础理论。FAME 框架首先确立了两个核心数学定义：

• 环境距离定义：利用马尔可夫决策过程（MDP）的最优值函数或最优策略之间的距离，量化不同任务间的差异，综合考量奖励函数与状态转移机制的变化。
• 灾难性遗忘度量：针对强化学习数据分布依赖策略的特点，提出基于策略在过去环境中状态访问分布加权的价值/策略变化度量。这确保了对“重要且被访问过”的状态和动作的关注，而非对整个状态空间的一视同仁。

基于上述定义，持续学习的知识整合步骤被形式化为一个灾难性遗忘最小化的优化问题。

2. 架构设计：双系统协同机制

受人类记忆系统启发，FAME 采用两个模块协同工作：

• 快速学习模块（Fast Learner）：模仿海马体，负责知识迁移与新任务的快速适应。其核心创新是**自适应热启动（Adaptive Warm Start）**机制，通过统计学假设检验动态选择初始化策略：
  • 若历史知识适用，使用元学习初始化加速训练；
  • 若新旧任务相似但旧知识不再直接适用，选择微调上一个任务策略；
  • 若新任务完全陌生，则随机初始化。
• 元学习模块（Meta Learner）：模仿大脑皮层，负责知识整合。它将快速学习模块获得的新知识并入长期知识库，优化目标即前述的灾难性遗忘最小化。在离散动作下等价于增量式极大似然估计，在连续动作下对应最小化 KL 散度或 Wasserstein 距离。

3. 实验验证

研究在 MinAtar、Atari 游戏及机器人操作 Meta-World 数据集上进行了广泛测试，涵盖 DQN、PPO、SAC 等多种算法及离散/连续动作空间。结果显示：

• FAME 在平均性能、前向迁移能力和抗遗忘能力三项指标上，全面优于 Reset、微调、PackNet、ProgressiveNet 等基线方法。
• 随着任务序列延长，FAME 的优势愈发明显。
• 消融实验证实，“自适应热启动”与“知识整合”两步缺一不可。

值得关注

• 行业共识：Google DeepMind CEO Demis Hassabis、DeepSeek 创始人梁文锋及 Ilya Sutskever 等均指出，当前大模型面临“训练完成即冻结”的局限，持续学习与长期记忆是通往超级智能（AGI）的核心壁垒，单纯依靠 Scaling Law 无法根本解决灾难性遗忘。
• 具身智能应用：对于需要在真实世界中不断交互并修正认知的具身智能体而言，持续学习能力至关重要。FAME 提供的理论框架为解决 Sim-to-Real Gap 后的在线适应问题提供了新思路。
• 无监督学习的边界：研究者强调，虽然无监督表征学习具有理论正确性，但在实际下游任务中，明确的监督信号和任务导向仍是获取高性能的关键，无监督并非万能解药。