ICML 2026 Spotlight 精选:Session 3-3 九篇论文亮点解读

2026/07/08 17:09阅读量 2

ICML 2026 接收 6352 篇论文,Spotlight 论文 536 篇(占 2.2%)。Session 3-3 的九篇 Spotlight 覆盖浮点网络表达能力、自动形式化、多臂老虎机优化、大模型训练优化器 SSO、学习增强分页算法、视觉可解释性分布视角、大模型人格稳定助手轴、分布式层级融合 DecFus 和时间序列插补 HELIX 等方向,展示了理论与应用的前沿进展。

ICML 2026 于 7 月 8 日进入正会第二天。本届会议共接收 6352 篇论文,其中 Spotlight 论文 536 篇(占投稿总数 2.2%),Oral 论文 168 篇(0.7%)。以下为 Session 3-3 九篇 Spotlight 论文的核心内容:

  1. 关于表示浮点函数的浮点神经网络最小深度与宽度研究:首次给出浮点 ReLU 网络表示所有浮点向量到浮点数函数所需的最小深度与宽度边界。研究表明最小深度通常为三层(特定域值条件可减至两层),最小宽度范围为 2 到 2d+2,当域限制为非负浮点数时宽度范围更窄。证明了浮点环境与精确算术环境下神经网络表达能力的本质不同。[论文链接](https://openreview.net/forum?id=8IxY2DUiBi%29

  2. 理论层级自动形式化:从孤立陈述到统一的形式化知识库:观点文章,主张将自动形式化研究从单一句子推进到完整理论层次(公理、定义、定理、证明及其依赖关系)。提出了系统框架,分析反对观点,明确五大核心挑战和三条未来研究方向。[论文链接](https://openreview.net/forum?id=BoteCHEFUr%29

  3. 基于梯度变动的多臂老虎机凸优化维度依赖性改进:聚焦带宽凸优化中的梯度变动特性,提出适用于两点反馈的梯度变动分析技术,并在凸和强凸函数场景下显著提升维度依赖性。获得了首个梯度变动动态/普适后悔界及快速收敛率。[论文链接](https://openreview.net/forum?id=X8evkEdMxb%29

  4. 谱球上的受控大语言模型训练:提出 Spectral Sphere Optimizer (SSO),基于严格频谱约束计算最陡下降方向,配合高效并行算法。在 Dense 1.7B、MoE 8B-A1B 和 200 层 DeepNet 上实验,SSO 全面优于 AdamW 和 Muon,实现更稳定高效的训练。[论文链接](https://openreview.net/forum?id=5kTn1c3vtt%29

  5. 迈向学习增强分页算法的最优鲁棒性:提出统一原语“相对预测预算”,将学习增强分页的鲁棒性提升至 H_k + O(1),理论上首次达到最优鲁棒性。实验验证了新框架的实用性和稳定性。[论文链接](https://openreview.net/forum?id=ESa07RwpVr%29

  6. 视觉机制可解释性的分布视角:KL最小化软约束原则:提出从分布视角建立视觉机制可解释性框架,通过 KL-最小化软约束原则和能量引导扩散后验采样,平衡可解释性与模型忠实性。在 DINOv3 上验证有效。[论文链接](https://openreview.net/forum?id=TZvHUmClPP%29

  7. 助手轴:大语言模型默认人格的定位与稳定:发现模型内部存在“助手轴”,通过识别和调控该轴可抑制默认人格的漂移,减少有害或怪异输出。在多种主流模型上实验,揭示了人格空间的作用机制。[论文链接](https://openreview.net/forum?id=q17jVxMtwS%29

  8. DecFus:基于动态探索与利用的分布式层级融合:提出 DecFus 框架,动态调整探索与利用平衡,采用基于余弦相似度的层级划分策略进行参数交换与平均。在 IID 和 Non-IID 数据集上显著优于现有 CFL 和 DFL 基线,并证明收敛性。[论文链接](https://openreview.net/forum?id=QNYVYUa3aa%29

  9. HELIX:基于可学习身份与跨维度合成的混合编码时间序列插补:提出 HELIX 方法,引入可学习特征身份嵌入和混合时序-特征注意力机制,在 21 种实验设置下对比 17 种基线达到 SOTA,有效利用跨特征依赖进行时间序列插补。[论文链接](https://openreview.net/forum?id=FN20iuPnEU%29

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。