工业控制器原理应用于多任务机器学习：ControlG 动态分配计算资源协调冲突目标

事件概述

在 2026 年国际机器学习大会（ICML）上，亚马逊科学家发表论文提出 ControlG 框架，针对图自监督学习（graph SSL）中多目标训练冲突问题，引入工业控制系统中的比例-积分-微分（PID）控制器原理。该工作由 Amazon PhD 奖学金获得者 Karish Grover 在 AWS 实习期间主导，Amazon Scholar Christos Faloutsos 和 Theodore Vasiloudis 担任指导。

核心信息

图自监督学习的目标通常包括链接预测、节点特征重建、邻域互信息最大化等。不同目标对参数更新方向的要求可能相互矛盾。传统做法是在每个训练步骤中将所有目标的梯度混合成单一更新（即每步混合），这容易导致三种典型失败：

• 分歧：冲突梯度引发负迁移，优化一个目标反而损害另一目标。
• 漂移：目标的重要性随训练阶段变化，但固定或缓慢调整的权重无法追踪变化。
• 萎缩：自适应加权方案可能将某些目标的权重驱近于零，使其从未有效影响模型表示。

ControlG 的关键洞察在于将多任务协调重新定义为时间分配问题：核心问题不是“当前如何混合梯度”，而是“下一步计算预算应分配给哪个目标”。这种时间分离做法消除了每步的梯度冲突。

值得关注

1. 随机调度即有效：实验显示，即使采用均匀随机调度（在每个训练块中随机选一个目标），在节点聚类任务中平均排名 5.0，超越 AutoSSL（7.3）、WAS（10.0）、ParetoGNN（8.1）、PCGrad（7.8）和 CAGrad（8.4）等复杂梯度操控方法。仅时间分离即可消除瞬时梯度冲突。

2. ControlG 三层时间尺度：

   • 宏观：通过谱需求和干扰指标估计每个目标的难度；
   • 中观：使用 log 超体积敏感性优化每轮计算分配；
   • 微观：通过 PID 反馈循环跟踪分配计划。

3. 可解释的学习调度：早期训练探索所有目标（链接预测、互信息、重建、对比学习）；中期训练发现某目标干扰互信息后集中优化互信息；后期训练聚焦进展落后的重建目标。