阿里获ACL 2026最佳资源论文奖，提出Agent评测新基准HSCodeComp
2026/07/08 14:51阅读量 2
阿里研究团队在ACL 2026上凭借Deep Research Agent相关论文获最佳资源论文奖，是国内唯一获此殊荣的中国公司。论文提出基于海关编码分类的评测基准HSCodeComp，揭示当前主流大模型在复杂规则推理上的严重缺陷——准确率不足45%，远低于人类专家的95%，为Agent能力提升指明方向。
事件概述
阿里研究团队的论文在ACL 2026（国际计算语言学协会年会）上获评最佳资源论文奖（Best Resource Paper）。ACL 2026共收到12148篇投稿，仅19%被主会录用，资源论文奖仅4篇。阿里是该奖项中唯一的中国公司获奖者。
核心发现
论文以商品出口所需的10位海关编码（HS Code）分类为切入点，构建了名为HSCodeComp的评测基准，旨在评估Agent在真实世界复杂层级规则推理中的表现。
- 对14个主流大模型和9个先进Agent框架的全面评测显示，表现最好的Agent系统准确率仅约45%，而人类关务专家准确率达95%。
- 研究还发现，单纯增加推理时间（inference-time scaling）无法显著缩小差距，说明问题根源不是算力，而是Agent架构本身的结构性瓶颈。
缺陷原因分析
论文进一步揭示了导致Agent系统缺陷的三个主要原因：
- 推理链过长：Agent在长链条推理中容易偏离正确路径。
- 领域知识不足：对专业规则理解不准确，导致规则误用。
- 推理幻觉：Agent生成缺乏事实依据的分类判断。
研究成果与应用
阿里基于Qwen基座模型设计的Agent框架在HSCodeComp基准（10位编码准确率）上取得65.0%的准确率，位居所有AI系统第一。HSCodeComp的数据集与评测代码已在Hugging Face和GitHub全面开源。
ACL评审委员会表示，该基准“切中了Agent应用的高度重要挑战……人类专家评测流程提供了高度可靠的能力上界”。研究团队指出，层级规则应用能力不仅存在于国际贸易，还广泛适用于法律合规、医疗诊断、税务审计等高价值垂类领域，HSCodeComp为构建可靠的专业AI系统提供了科学评测标杆。