AI 辅助评审工具：提升反馈质量但未改变录用率
2026/04/28 12:49阅读量 3
斯坦福团队开发了一款基于5个大语言模型的AI智能体，旨在优化同行评审意见的清晰度与礼貌度。在2025年国际表征学习大会的测试中，该工具促使24%的评审者修改意见，使平均篇幅增加80词且68%被专家评为更优，但并未改变论文评分或30%的接收率。尽管交流篇幅增加引发了关于工作量和实际质量的争议，研究者认为该工具未引入偏见，未来需关注其对科研质量的长期影响及全自动评审系统的伦理问题。
事件概述
斯坦福大学计算机科学家 James Zou 及其团队研发了一款 AI 指导工具（评审反馈智能体），旨在解决同行评审中普遍存在的反馈模糊、语气失当或包含事实错误等问题。该研究发表于《自然·机器智能》（Nature Machine Intelligence），原始新闻于 2026 年 2 月 23 日由 Nature 发布。
核心信息
- 技术原理：智能体由五个大语言模型协同运作，互相校验，专门用于检测如“缺乏创新性”等笼统评价或不专业的人身攻击言论，并提供具体的优化建议。
- 实测数据：在 2025 年国际表征学习大会（ICLR）上，研究团队对约 2 万份已完成的评审意见进行了评估。
- 采纳率：收到 AI 反馈后，24% 的评审者采纳建议并修改了意见。
- 质量提升：修改后的意见平均增加 80 个单词，经人类专家评估，68% 的修改版优于原版。
- 参与度变化：使用 AI 优化意见的论文作者和评审者之间的辩驳内容篇幅显著增加，Zou 认为这体现了参与度的提升。
- 效果局限：
- 评分与录用率：AI 反馈未对论文评分产生显著影响，会议接收率保持在 30% 不变。这表明工具未引入偏见引导，但也意味着目前尚无证据显示其能直接通过修改环节大幅提升论文质量。
- 争议点：西北大学学者 Mohammad Hosseini 指出，大语言模型易生成冗长内容，篇幅增加不一定代表质量提升，反而可能增加双方工作量。
值得关注
- 长期影响：研究者强调需长期观察 AI 介入是否能最终减少劣质研究的通过或避免优质研究被拒。
- 伦理前瞻：乔治梅森大学学者 Laurie Schintler 预测全自动同行评审系统即将出现，呼吁提前研究其伦理影响，特别是如何平衡“减少劣质研究通过”与“避免优质研究被埋没”。