ICML 2026 AI4S Workshop：当 Benchmark 失效，如何定义“AI 科学家”？

事件概述

ICML 2026 最后一天，一场主题为“AI Scientists —— Tools, Co-authors, or Founders?”的 workshop 聚焦 AI for Science 的核心焦虑：当 AI 从工具变为合作者甚至独立提出问题的创始人，如何衡量其价值？

圆桌讨论：Benchmark 已死，衡量的标准在哪？

五位嘉宾（LG AI 的 Moontae Lee、Anthropic 的 Julian Schrittwieser、UCSF 的 Brian Cheung、Meta 的 Ben Miller、首尔大学的 Chaok Seok）围绕 benchmark 失效问题展开激烈辩论。

• Moontae Lee 指出 benchmark 发布即失效——现有模型为争夺 SOTA 可迅速解决之前无法解决的问题。他建议构建动态演化的 benchmark，像 RL 环境一样“呼吸”。
• Julian Schrittwieser 更看重实际交互和“直观感受”，认为很难做出能代表真实工作流的 benchmark。
• Brian Cheung 认为 AI scientist 的终极标准是做出让人愿意在此基础上继续构建的发现；目前 AI 在假设检验上做得好，但真正的假设生成仍遥不可及。
• Ben Miller 指出 ML 本质是摊销成本，而 LLM 与 agent 已走到能组合想法、产出新颖结果的临界点，但尚未真正实现。
• Chaok Seok 总结：AI4S 在科学社区被低估（多被视为生产力工具），在 AI 社区被高估（对现有系统能力过度乐观）。

前沿研究亮点

普林斯顿大学：以“掌控力”驱动 AI 自主探索

Benjamin Eisenberg 团队提出“掌控力”（empowerment）框架，区分“潜在掌控力”（处于能行使选择的状态）和“有效掌控力”（主动行使选择）。数学上等价于“承诺一个选项后节省的预期时间”。该框架为解决“未知任务”提供理论保证：最大化掌控力的状态能最快适应新目标。团队开发了同时学习两种掌控力的算法，在 Craft Axe 环境中智能体可自主收集资源、造镐、挖矿等。

Google DeepMind：AI 作为数学家的“合著者”

Ray Jiang 团队将物理方程写入神经网络损失函数，搜索流体方程的不稳定奇点。他们发现了三个此前未被找到的奇点家族，残差精度达 10⁻¹³，可直接用于计算机辅助证明。这些奇点间呈现严格的线性规律，可预测更高阶奇点位置，为最终逼近 3D Euler 和 Navier-Stokes 千禧年难题提供了新路径。

关键结论

• 当前 AI for Science 的最大张力在于：急于给 AI 科学能力打分，但“科学能力”本身尚未定义清楚。
• 真正的质变在于从“假设检验”转向“假设生成”——AI 能提出人类从未想过的猜想，才是成为 co-scientist 的标志。
• 动态 benchmark、实际交互验证、以及基于“掌控力”的内在驱动力设计，可能是未来衡量 AI Scientist 的更合理方向。