不换模型，效果提升104%！上海AI Lab让Harness也能自进化了

上海人工智能实验室团队提出Self-Harness，一种让Agent外层Harness自动进化的方法。Harness通常包含系统提示词、工具使用规则、验证器、运行时控制策略等，过去需要工程师手动调参。Self-Harness将流程压缩为三步：弱点挖掘、修改提案、回归验证。

工作原理

• Weakness Mining：让当前Harness驱动固定模型完成任务，记录失败轨迹，结合验证器反馈识别可复用的缺陷模式（如缺少产物、重复执行、工具错误不恢复等）。
• Harness Proposal：同一模型作为提议者，针对已发现的失败机制提出有边界的Harness修改，仅限预先声明的可编辑表面。
• Proposal Validation：在相同评测协议下重跑候选Harness，与当前版本对比。仅当held-in或held-out至少一个split提升、另一个不退化时才采纳。

实验结果

在Terminal-Bench-2.0（多轮终端环境智能体评测）上，固定模型、工具、环境，仅改进Harness：

• MiniMax M2.5 总提升 28%
• Qwen3.5-35B-A3B 总提升 104%
• GLM-5 总提升 24%
  每个修改均经过held-in和held-out回归测试，保留真正带来收益的改动。

不同模型暴露的弱点

• MiniMax M2.5：找到关键线索后迟迟不创建答案文件。改进鼓励先创建初始产物，避免超时。
• Qwen3.5-35B-A3B：工具失败后陷入重复编辑/命令循环。引入依赖预检查、产物恢复、避免重复重试。
• GLM-5：shell状态管理不足，探索与实现切换时机不佳。改进要求确认环境变量跨命令持续可用，推动转向实现。

引起关注

该方法被LangChain CEO Harrison Chase转发，前OpenAI副总裁Lilian Weng收录至自进化Agent相关博客。Self-Harness没有证明Agent能完全自进化，但给出了清晰的边界：改什么、怎么改、如何验证、何时拒绝。论文和项目已公开。

论文：https://arxiv.org/abs/2606.09498
项目地址：https://github.com/qzzqzzb/Self-Harness