阿里ACL 2026获最佳资源论文奖，揭示Agent深层缺陷并提出新评测基准
2026/07/08 15:51阅读量 5
阿里研究团队在ACL 2026凭借Deep Research Agent方向论文获最佳资源论文奖，是国内唯一获奖中国公司。论文提出HSCodeComp评测基准，测试表明当前最强Agent准确率仅45%，远低于人类专家95%，且单纯增加推理时间无法弥补差距，根源在于推理链过长、知识不足和推理幻觉。
事件概述
7月8日，ACL 2026公布最佳论文奖，阿里研究团队在Deep Research Agent方向的研究成果获最佳资源论文奖（Best Resource Paper），是国内唯一获该奖项的中国公司。论文首次系统揭示了当前Agent在真实世界复杂规则推理中的巨大缺陷，并提出了全新的专家级Agent评测基准HSCodeComp。
核心信息
- 基准任务：以商品出口所需的10位海关编码（HS Code）为切入点，要求Agent像资深关务专家一样，将商品模糊属性与严格的关税归类规则对齐，精准映射到细分编码。
- 测试结果：对14个主流大模型和9个先进Agent框架评测，表现最好的Agent系统准确率仅约45%，远低于人类专家的95%。
- 关键发现：单纯增加推理时间（inference-time scaling）并不能显著缩小差距，问题并非“算力不足”，而是Agent架构本身的结构性瓶颈。
- 缺陷原因：①过长的推理链导致Agent中途偏离正确路径；②领域知识不足导致规则误用；③推理幻觉造成缺乏事实依据的分类判断。
- 阿里Agent表现：在HSCodeComp基准上，基于Qwen基座模型设计的Agent准确率达65.0%，稳居AI系统第一。
开源与后续
HSCodeComp数据集与评测代码已在Hugging Face和GitHub全面开源。ACL评审委员会评价该基准“切中了Agent应用的高度重要挑战”，严谨的人类专家评测提供了可靠的能力上界。阿里研究团队指出，层级规则应用广泛存在于法律合规、医疗诊断、税务审计等专业领域，该基准为构建可靠的专业AI系统提供了科学评测标杆。