Susan Athey教授在ICML 2026提出：利用LLM随机性破解因果推断，把每个查询变成微型实验

事件概述

在2026年7月7日于首尔举行的国际机器学习大会（ICML）上，斯坦福大学商学院技术经济学教授、前微软首席经济学家Susan Athey发表了题为“基于Transformer模型的因果推断”的Keynote演讲。她展示了两项突破性工作：一是利用LLM内在随机性进行因果推断的新框架，二是用Transformer分解性别工资差距的方法。

核心方法：利用LLM随机性的因果推断

传统因果推断在高度个性化的生成式AI环境中面临巨大挑战——每个用户看到的每条回复都独一无二，无法估计从高维内容特征到用户结果的全局响应面。Athey提出一种新方法，核心在于引入“已记录的反事实曝光”（Logged Counterfactual Exposures）数据结构：

• 反事实生成：白天记录用户查询和实际回复；夜间GPU空闲时，用相同LLM（temperature>0）对同一查询再次采样，获得另一条回复作为反事实曝光。
• 微型实验视角：将每个用户、每次查询视为一个n=1的随机对照实验。只保留实际回复与反事实回复在目标特征（如语气温暖程度）上不一致的“不一致对”，计算其用户行为（如点赞）的均值差，即为该特征的局部平均因果效应。
• 无需倾向得分：与离线策略评估不同，该方法不需要估计用户特征的函数，而是在用户内部计算“该用户看到A而非B的概率”，甚至可以在获取反事实后丢弃用户查询以保护隐私。

该方法回答的问题是：当系统在两种回复之间近乎无差异时，朝某个特征方向轻轻推动（如让语气更温暖）会有什么效果？ 这直接对应产品经理调整系统提示的决策场景。

第二个项目：用Transformer分解性别工资差距

Athey团队开发了一个Transformer模型来建模职业序列（而非词语序列），使用的职业词表仅330个职业。方法包括：

• 用非代表性简历数据预训练基础模型，然后在包含工资数据的政府调查数据（数千人、数万次职业转换）上微调。
• 改进微调目标函数：将传统均方误差替换为“残差对残差回归”——先取实际工资与模型预测工资的残差，再对性别与模型预测性别的残差做回归，从而在控制混杂因素下估计性别的因果效应。
• 应用：分解性别工资差距为两部分——“如果男女职业历史相同，工资差距会是多少”与“职业历史差异本身的贡献”，直接指导政策制定。

值得关注

• Athey指出，生成式AI看似让因果推断更难（维度爆炸），但实则为实验设计提供了新工具：利用随机采样生成反事实曝光，成本低且无偏。
• 该方法绕过了传统观测数据因果推断中估计倾向得分的难点，尤其适合处理高频、个性化内容推送场景。
• 第二个项目的微调目标函数改造思路具有通用性，可扩展到其他因果问题。