翁荔最新博客：AI自进化不应从改权重开始，而应从Harness出发

事件概述

前OpenAI安全副总裁、Thinking Machines Lab联创翁荔发表新博客《Harness Engineering for Self-Improvement》，提出AI自进化（递归自我改进，RSI）的现实路径并非直接让模型改写自身权重，而是先优化模型外部的运行系统——Harness。Harness决定模型如何调用工具、管理上下文、读写文件、拆分任务、调用子Agent、验证结果以及从失败中复盘。DeepSeek研究员崔添翼转发并强调，Harness方向的自进化与模型方向的自进化同样都是很可能出成果的方向，Skill（从prompt层面进行自进化）就是Harness自进化的初级形式。

核心信息

1. 自进化可能先发生在Harness层

翁荔将RSI问题工程化：在今天的AI系统中，自我改进不限于模型直接改写权重，还包括模型改进训练流程、研究流程和部署系统。Harness是部署系统中最关键的一层，比早期Agent框架中的模块更接近运行时和软件系统设计。近期更可行的路径是模型开始优化自己获得答案的方式，而非直接修改大脑。

2. 从Context Engineering到Self-Harness的递进链条

优化对象正从prompt、structured context、workflow深入至harness code、optimizer code。

• Context Engineering：ACE（Agentic Context Engineering）将上下文处理为持续更新的“操作手册”，由Generator、Reflector、Curator三角色配合；MCE（Meta Context Engineering）将“如何管理上下文”与“上下文内容”拆为两层优化，朝“自我管理记忆”迈进。
• Workflow Design：AI Scientist搭建完整科研流水线；ADAS将“设计Agent工作流”本身作为可搜索的优化问题；AFlow将工作流表示为图，用蒙特卡洛树搜索寻找更优结构。优化对象从单个prompt扩展到整个Agent的组织方式。
• Self-Improving Harness：模型分析Harness缺点并提出修改。典型循环包括：
  • Weakness Mining：收集任务轨迹，挖掘反复出现的失败模式。
  • Harness Proposal：基于失败模式，提出小范围、可验证的Harness修改。
  • Proposal Validation：候选修改需经测试确认提升表现且无回归。

翁荔提到，该流程在MiniMax M2.5、Qwen3.5、GLM-5等模型上跑Terminal-Bench-2时，确实学出了针对不同模型薄弱点的不同Harness配置。但她也指出权限控制、安全层和reward hacking仍是隐患。

3. 进化搜索与DGM的惊人效果

DGM（Darwin Gödel Machine）让coding agent直接修改自身的Harness代码仓库。用Claude 3.5 Sonnet基座，从简单初始配置出发，DGM进化的agent在SWE-bench Verified上从20%提升至50%，在Polyglot上从14.2%提升至30.7%，达到甚至超过人工设计的agent。这表明即使不动模型权重，Harness本身也已成为能力提升的搜索空间。不过，该方法更适合代码、算法等可自动评估的任务。

值得关注

1. Harness与模型互相强化

翁荔认为，足够成熟的Harness能让模型自我改进的研究循环跑起来，更聪明的模型也能防止Harness被过度设计。长期看，Harness的改进可能被“内化”进模型本身的行为中。

2. 当前主要瓶颈

• 评估器太弱太模糊：只有编程、数学等有明确客观反馈的任务能跑通自我改进循环；研究品味、创新性难以量化。
• 上下文和记忆生命周期问题。
• 负面结果易被忽视。
• 多样性坍缩：进化/强化学习循环易反复利用已知高回报模式。
• Reward hacking：模型会过拟合给定信号（单元测试、评委模型、榜单分数）。
• 长期健康 vs 短期成功：如coding agent优化短期任务完成度，忽视代码库长期可维护性。
• 人类角色：人类不会被踢出循环，而是向“环外”移动，在合适时机提供监督。

3. 行业共识变化

大模型竞争过去主要看参数、数据、算力，现在Harness已不可忽视——同一个模型在不同Harness中可能表现出完全不同的能力。AI自进化更现实的工程入口将成为下一阶段讨论重点。