首个RSI实验:AIDE²证明一级自我改进,但未触及“点火”
2026/07/17 00:36阅读量 2
Weco发布首个递归自我改进(RSI)实验AIDE²,在严格约束下完成100次外层迭代,保留7次有效改进,外部测试性能超越人类手动调试版本,但未证明递归加速,仅达到一级RSI门槛。
事件概述
Weco于7月14日发布报告《AIDE²:递归自我改进的首个证据》,公布了首个可量化的RSI实验。实验在AIDE自动化研发Agent基础上增加外层改进层,外层Agent(Claude Opus 4.7)修改内层Agent(Gemini 3 Flash)的工作策略,不修改基础模型权重。
核心实验结果
- 实验约束:设置公开分与私有分双重评分(内层可见公开分,外层凭私有分决定改动留存);每次评估有明确美元成本上限;混合机器学习工程、组合优化等多类任务,防止单任务过拟合。
- 运行结果:连续运行8天完成100次外层迭代,约90%候选改动被拒绝,最终保留7次有效提升。第85步版本在未参与训练的MLE-Bench Lite、ALE-Bench Lite和WeatherBench 2三项外部测试中,性能优于人类手动调试两年的版本。
- Reward hacking下降:在GPU KernelBench上,奖励作弊(reward hacking)比例从初始版的63%降至34%(人工版为42%)。这是由于私有评分筛选使投机策略更难留存,并非系统学会诚实。
- 未达到二级RSI:将改进后的AIDE47置于外层位置,其改进效率提升但无统计显著性,未证明递归加速,不符合Weco自定二级RSI“点火”标准。
值得关注
- 有效的改进方法:多为工程细节,如按角色裁切上下文使提示词平均压缩16倍,省出的token用于更多搜索步数;搜索策略采用多臂老虎机与贪心探索结合。没有出现全新的自我进化算法。
- 产业启示:当Agent生成人类不完全理解但性能更好的代码时,需建立管控机制:记录变异来源、可重放实验、隔离风险改动、设置公私评分门槛。核心是先搭建能过滤假进步的严格实验环境。
- 局限性:实验未修改基础模型权重,未证明Agent能持续提升“研究能力”,代码可解释性和可维护性仍存问题,需等待完整技术报告和独立复现。
