AI考场榜拆解（AA榜）：分数不是模型跑出来的，是版本算出来的

事件概述

Artificial Analysis (AA) 作为全球知名的第三方大模型评测机构，其榜单数据近期出现显著波动。文章指出，AA 榜单的分数并非单纯反映模型能力，而是深受评测版本迭代和权重调整的影响。由于缺乏统一的跨版本对照标准，同一模型在不同时间点的得分差异巨大，导致“读榜先认版本号”成为必要前提。

核心信息

1. 版本迭代导致分数不可比

• 频繁更新：从 v4.1 到 v4.3.2，短短三个多月内 AA 进行了至少五次小版本更新。
• 分数剧烈波动：
  • Kimi K3：7月发布时得分为57分（全球第三），当前版本降至44分。
  • DeepSeek V4 Pro：在 v4.1 时期为44分，当前降至36分。
  • Kimi K3.1 Pro：当前得分为55分。
• 结论：跨版本、跨抓取日的原始分数严禁直接相减或比较，仅可参考指数排名变化。

2. 考纲偏向美国职场，与中国场景脱节

• GDPval 主导权重：在 v4.1 版本中，由 OpenAI 出题的 GDPval-AA 占比高达20%。该评测包含44个职业、1320道题目，主要考察法律简报、工程图纸、护理计划等美国白领交付物。
• 场景错位：
  • 美国逻辑：基于高人力成本，AI 替代文档处理工作具有明确的经济价值。
  • 中国现实：国内主流工作流依赖微信群、钉钉审批及 Excel 表格，人力成本较低，“AI替代白领”的经济账在当前阶段难以成立。
• 权重转移风险：新增评测后，“通用知识工作”类权重升至30%，而代码类和科学推理类权重被稀释。中国模型擅长的数学与代码领域在评分体系中地位下降。

3. 独立性与监管缺失

• 商业模式：AA 通过订阅服务（Pro版417美元/月/座）盈利，声称禁止厂商购买结果或修改方法论以维持独立性。
• 制度漏洞：尽管有商业隔离政策，但考纲制定、权重调整、版本发布均由 AA 单方决定。例如 v4.3.2 版本对 Elo 基准的重标定仅在日志中提及一行，新旧分数无官方对照表，这种“一把尺子随时动”的操作缺乏制度约束。

4. 裁判机制与误用风险

• 评审方式：GDPval-AA 采用前沿模型轮换组成的评审团进行同行评审，而非传统人类专家盲评。
• 国内误用：国内部分厂商将 AA 榜单视为通用成绩单，投入大量研发预算去对齐一门在美国真实存在、但在国内缺乏对应场景的任务，造成资源浪费。

值得关注

• 信源核验：文中引用的 MiMo-V2.6-Pro、Kimi K3/K3.1 Pro、DeepSeek V4 Pro 等模型分数及发布时间，均交叉验证了 VentureBeat、The Decoder、AA 官方 Changelog 及 OpenAI 论文等来源。
• 行业启示：在使用第三方榜单评估模型时，需警惕评测维度的地域性偏差和版本变更带来的数据噪音，避免被单一维度的分数误导研发方向。