ICML 2026 精选 Spotlight 论文汇总:Session 7-1 八篇前沿研究解析

2026/07/09 16:53阅读量 2

本文精选了 ICML 2026 Session 7-1 的八篇 Spotlight 论文,涵盖图神经网络域适应、自动形式化、大语言模型多领域推理、个性化图联邦学习、训练数据选择优化、可微优化一阶方法、因果推理基准测试以及扩散语言模型加速推理等方向。这些工作分别提出了渐进式图结构调整、理论级自动形式化框架、基于评分准则的强化学习、低秩子空间个性化微调、元网络训练困难分析、完全一阶优化层、交互式因果推理基准和融合因果注意力的扩散模型,并在各自领域取得了显著性能提升或效率突破。

ICML 2026 Session 7-1 精选 Spotlight 论文(共8篇)

1. 适应同质性偏移的渐进式图结构调整

提出 PSAHS 方法,针对源图与目标图节点同质性不匹配导致的跨域迁移性能下降问题,通过重设边权重、增加类内连接提升源图同质性,并结合结构感知 GNN 与属性 MLP 逐步优化目标图结构,引入域对抗训练对齐节点表示。在多个图域适配基准上,严重同质性失配条件下显著优于现有基线。

2. 理论级自动形式化:从孤立陈述到统一的形式化知识库

倡导从孤立陈述自动形式化转向理论级自动形式化,将包含公理、定义和引理的完整理论转化为结构化形式化库。讨论了该范式在合成训练数据、加速理论验证等方面的意义,指出等价性检查、分层分解等开放挑战,提出构建统一中间表示等三条发展路径。

3. 通过评分准则实现奖励与指导:促进探索以提升多领域推理能力

提出 RGR-GRPO 强化学习框架,利用基于评分准则(Rubrics)的高密度细粒度奖励信号和离线指导扩展 LLM 探索空间,优化离策训练稳定性。在14个多领域基准数据集上平均提升 5.4%~8.4%,突破多领域推理瓶颈。

4. FlatLand:通过定制洛伦兹空间实现个性化图联邦学习

发现个性化信息嵌入位于低秩子空间,包含用户共有偏移和特有偏移。提出 PerFit 双阶段方法,微调隐藏表示空间中的共性与个性偏移,在六个数据集上平均减少 92.3% 参数开销,同时保持强竞争力。

5. 论学习用于训练数据选择的元网络的困难性

针对元网络训练中信号噪声比低、缺乏关联数据质量特征的问题,通过数学分析揭示归一化数据权重动态与低信噪比的关系。提出增大批量大小优化、设计捕捉分布位置及动态信息的特征,在四个基准上结果平均提升 5.49%,最优超越基线 2.89%。

6. 可微优化的完全一阶层

提出完全避免隐式微分的一阶优化框架,设计主动集拉格朗日方法,仅需对数级时间复杂度的一阶信息即可高效计算近似超梯度。实现为开源库 FFOLayer,在保持收敛性能的同时大幅提升计算速度,适用于大规模可微优化。

7. CausalGame:评估大语言模型智能体在游戏中的因果思维能力

推出首个专注于因果推理的交互式评测基准 CausalGame,包含选择偏差、噪声测量、隐藏混杂因子等14种游戏场景。LLM 智能体需主动设计实验、收集数据并生成报告。评估16个先进 LLM 智能体,结果显示当前模型在识别与处理因果关系上表现欠佳。

8. WeDLM:融合扩散语言模型与标准因果注意力以实现快速推理

提出 WeDLM 框架,通过拓扑重排序将已观测标记移至物理前缀并保留逻辑位置,使扩散语言模型可在标准因果注意力下并行生成;结合流式解码持续更新前缀避免停滞。在复杂推理基准上比 vLLM 提速近3倍,低熵生成场景下提速高达10倍。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。