AI递归自我改进（RSI）：技术加速背后的安全边界与竞争焦虑

事件概述

近期，AI行业正从单纯由人类推动模型开发，转向让AI参与制造更强AI的新阶段。这一过程被称为递归自我改进（Recursive Self-Improvement, RSI）。虽然完整的RSI尚未实现，且存在技术不确定性，但巨头企业已开始在此方向下注，试图通过AI加速自身研发迭代，从而在竞争中占据先机。

核心信息

• 技术实践进展：Google推出的AlphaEvolve系统利用Gemini模型提出候选程序，运行并评价结果，进而优化后续方案。该系统发现的一项优化使Gemini关键计算核加速23%，整体训练时间缩短约1%。支撑该系统的模型已应用了由其辅助发现的改进，形成了“模型参与改善训练，改善后的条件反哺后续模型”的反馈循环。
• 概念辨析：需区分人工超级智能（ASI）与递归自我改进（RSI）。ASI指能力目标（广泛领域超越人类），而RSI指改进过程。一个系统可在有限任务上自我改进但未达ASI；ASI也不一定仅通过RSI实现。目前RSI仍处于验证阶段，反复修改可能很快触及瓶颈。
• 评估难题与安全边界：
  • 指标局限性：AI寻找的“更快”或“更好”方案可能牺牲可复现性或安全性。例如，Klarna实验中发现部分候选代码虽运行速度快，但无法保证结果可复现，最终需工程师介入增加筛选条件。
  • 评估者困境：若连评估方法也由AI改进，谁来确认新测试未放过原有风险？若仅由同一系统证明自身正确，可靠性存疑。因此，安全边界不能仅凭系统自我评价取消，需独立检查和实际验证。
• 竞争驱动下的加速逻辑：
  • 先发优势陷阱：更强的模型不仅能吸引用户，还能优化研发流程。若竞争对手率先掌握有效RSI方法，等待者将面临研发差距拉大的风险。
  • Anthropic的观点：放慢研发可为社会争取准备时间，但若仅部分公司减速，领先者可能易主。这种“囚徒困境”导致企业难以就暂停或放缓达成一致。
  • 决策标准偏移：在激烈竞争下，企业判断技术价值的标准可能从“解决什么问题/承担什么代价”异化为“竞争对手是否已开始”。这可能导致在路线未充分验证时追加投入。

值得关注

• 人本主义视角：技术进步不应以牺牲人的选择权为代价。正如《乡村教师》中知识传承需要时间，AI缩短积累时间的同时，必须确保人类拥有对技术发展方向和安全边界的最终决定权。
• 独立判断的重要性：企业害怕落后的理由不能替代对加速是否值得的独立判断。研发速度容易展示，但可靠性和安全性需要更长时间确认，开发者既当运动员又当裁判的角色冲突需通过外部机制制衡。