谷歌开源Harness²:通过递归优化外部组件提升Agent能力,实测性能显著但成本与安全挑战并存

2026/10/19 14:31阅读量 4

谷歌研究团队开源了名为Harness²的智能体框架,允许AI Agent在不修改模型权重的情况下,通过调整提示词、记忆、工具等外部组件实现递归式自我改进。实测数据显示,该框架在WorkBuddy-Bench等基准测试中最高提升11.5分,但在生产环境中面临高昂的计算成本、自动化修改的安全风险以及缺乏跨模型统一最优解等挑战。

事件概述

谷歌研究团队(Google Research)以 Apache 2.0 协议开源了 Harness²(面向开放世界的递归智能体 Harness),这是一个支持 OpenCode 和 Codex 的 AI Agent 框架。该框架旨在让 Agent 在不改变底层模型权重的前提下,通过持续迭代和优化系统提示词、记忆、Skills、子智能体等“外部组件”,实现能力的递归式提升。目前该项目仍处于研究阶段,并非官方商业产品。

核心机制与实测表现

1. 双层递归优化机制
Harness² 的核心创新在于引入了两层递归逻辑,使 Agent 能够在没有标准答案的情况下进行自我改进:

  • 任务级递归(Task-level Recursion): 针对单个新任务,执行“提出—探测—组合”流程。系统生成多个 Harness 修改方案,让不同版本并行或顺序执行同一任务,通过观察行为差异来筛选并重组出更优的执行策略。
  • Harnessing 级递归(Harnessing-level Recursion): 跨任务的经验沉淀。系统将经过验证的有效经验和 Harness 方案保存至 Improvement Harness 中,用于指导后续任务的优化,形成闭环。

2. 性能提升数据
在 JobBench、LAB 和 WorkBuddy-Bench 等专业基准测试中,仅经过一步 Harness² 优化(模型权重不变),取得了以下显著提升:

  • WorkBuddy-Bench: 成绩最高提升 11.5分。
  • JobBench: 成绩最高提升 4.5分。
  • LAB: 部分通过率最高提高 11.8个百分点。

国内开发者 Joseph Zhou 将 Harness² 接入 Jev 1.14 后也证实,在不调整模型权重的情况下,视觉任务表现得到了大幅改善。

现实挑战与行业反思

尽管性能提升显著,Harness² 在实际落地中仍面临多重严峻挑战:

1. 高昂的计算成本
每增加一轮递归意味着更多的模型调用、候选 Agent 运行及回归测试。这种“用测试时计算换取成功率”的模式可能导致 Token 消耗和延迟成倍增加,使得在 Benchmark 上有效的“自我进化”在生产环境中未必具备成本效益。

2. 安全与回滚风险
AutoHarness(自动 Harness 工程)允许 Agent 修改 Tool、中间件甚至运行时逻辑,这等同于生成并执行新程序。若缺乏严格的沙箱隔离、权限控制和代码审查,可能引发安全风险。此外,简单的最终答案正确性评估已不足够,需纳入工具调用效率、Token 消耗等指标,并建立历史失败案例集以防止关键能力倒退。

3. 缺乏通用最优解
Harness 本质上是上下文工程的交付机制,其效果高度依赖“模型-Harness-任务”的匹配度。不同模型(如 Claude, Gemini, GLM, Qwen)适合的工具形态和提示词方式各异,导致难以存在一个独立于模型的统一最优 Harness,必须针对具体场景持续调试。

社区动态与未来方向

业界正在探索多种 AutoHarness 的演进路线以解决上述问题:

  • Self-Harness: 让 Agent 从自身执行 Trace 中识别失败模式并提出最小化修改。
  • Adaptive Auto-Harness: 建立 Harness Tree 以应对动态变化的真实任务,避免单一 Harness 反复更新导致的性能下降。
  • Continual Harness: 如 Prime Intellect 开源的 Prime Agent,将自我改进直接嵌入 Agent 产品,保存持久状态并进行可追踪的小幅修改。

总体而言,Harness² 展示了通过外部组件优化提升 Agent 能力的巨大潜力,但其工程化落地仍需平衡性能增益、成本控制与安全边界。

准备好启动您的定制项目了吗?

现在咨询,即可获得免费的业务梳理与技术架构建议方案。