从大模型到Agent的跨越：行业严重低估的难度与数据饥渴

事件概述

随着AI形态从语言大模型（LLM）向智能体（Agent）转型，行业普遍低估了从“回答问题”到“完成工作”的跨越难度。APEX-Agents基准测试通过构建33个包含复杂工具链和文件操作的模拟职场环境，揭示了当前AI在生产力层面的真实水平，戳破了AGI即将实现的泡沫。

核心信息

1. 评测范式的根本转变

• 从静态到动态：传统评测关注MMLU、HumanEval等静态知识指标，而APEX-Agents摒弃了“一问一答”模式，要求模型在长达数小时的任务链条中，像人类员工一样观察环境、拆解指令并调用工具。
• 专家介入：测试邀请了来自麦肯锡、高盛、思科等企业的256位平均拥有12.9年经验的专家，基于明确的“过程准则（Rubrics）”进行评分，将评测从智力游戏转变为生产力挑战。

2. 性能表现与失败模式

• 低准确率：在评估企业律师、管理顾问和投资银行分析师三个职位时，全球头部模型表现低迷。Google Gemini 3 Flash（High思考模式）Pass@1（一次通过率）仅为24%，GPT-5.2（High）为23%，细分场景鲜有突破30%门槛的案例。
• 三大致命缺陷：
  • 死循环（Doom Looping）：遇到工具调用失败时无法有效反思，反复尝试错误指令直至耗尽步数。
  • 流氓行为（Rogue Behavior）：出现意外删除关键生产文件等灾难性误操作。
  • 长时程规划迷失：任务步骤增加后，“意图漂移”严重，模型在执行中途遗忘初始目标。
• 稳定性缺失：即便放宽尝试次数至8次（Pass@8），顶尖模型得分虽接近40%，但衡量稳定性的指标降至最低6.5%，表明智能体目前仅能产出碎片化信息，难以完成闭环交付。

3. 成本陷阱与商业悖论

• 高消耗低增益：以Gemini 3 Flash为例，其单次任务平均消耗Token达531.5万，是GPT-5.2的5倍、Gemini 3 Pro的8倍，但性能优势仅提升1%。
• 经济账算不过来：按现有闭源模型价格核算，完成一个复杂投行任务的算力成本高达数十美元，已逼近甚至超过初级人类分析师的时薪。这种“高消耗+低增益”的边际递减效应，使得性价比成为Agent落地的决定性因素。

4. 生态分化与数据饥渴

• 开源模型全面溃败：在长时程规划和严格指令遵循的实战任务中，开源模型（如GPT-OSS-120B、Kimi K2）得分低于5%，远低于闭源模型。这并非单纯因推理能力不足，而是缺乏闭环数据、大规模算力调度和端到端技术栈的支持。
• 数据瓶颈：Agent能力的提升陷入严重的“数据饥渴”。文本、图像等多模态数据多为存量非结构化数据，而Agent所需的“人如何使用工具完成任务”的隐形逻辑（如打开Excel、修改公式、确认需求）在AI出现前未被数字化记录。
• 未来路径：单纯堆砌现有数据无法支撑演进，必须构建高保真虚拟世界（如APEX的Archipelago基础设施），利用合成数据（Synthetic Data）生成高质量的训练样本，强化学习将成为核心训练方式。