SpireBench评测:20款主流大模型挑战《杀戮尖塔》A20,暴露AI长期战略规划短板
加拿大Vector研究所与荷兰Radboud大学联合发布SpireBench研究,测试20个大语言模型在《杀戮尖塔》最高难度A20下的表现。结果显示仅GPT-5.6 Sol通关一次,AI失败主因是策略过度保守、畏惧风险及牌组管理不善。尽管局部战术能力接近顶尖,但AI缺乏跨局战略权衡能力,形成“越打越胆小”的恶性循环,凸显其在长线规划任务上的显著不足。
事件概述
加拿大Vector研究所与荷兰Radboud大学的研究人员在arXiv平台发布了题为《SpireBench:用〈杀戮尖塔〉评估智能体模型的长期战略能力》的研究论文。该研究旨在通过高难度的肉鸽卡牌游戏《杀戮尖塔》,测试当前大语言模型(LLM)在资源管理、路线规划和长期战略决策方面的能力。
实验选取了20个主流大模型,统一使用铁甲战士角色,在最高难度A20下各挑战10个全新种子,共计200局游戏。结果显示,通关率极低,仅有 GPT-5.6 Sol 成功通关一次心脏(最终Boss)。表现最好的四个模型(Claude Fable 5.1、GPT-6 Astra、Claude Opus 5、GPT-5.6 Sol)虽超越了人类平均水平,但与顶尖高手相比仍有巨大差距。
核心发现:AI为何失败?
研究指出,AI的主要败因并非操作失误,而是策略过度保守和缺乏大局观,具体表现为以下三个维度:
-
极度保守的风险偏好
- 精英战回避:在第一幕中,AI平均只进行0.9-1.4场精英战,而人类高手主播约为2.6场。精英战通常提供强力遗物和卡牌,是后期强度的关键来源。
- 频繁回血:57%-75%的营火选择用于回血,而高手仅为9%。即使血量高于70%,AI仍有31%的概率选择休息,导致带着满血但较弱的卡组进入BOSS房,错失了通过冒险获取成长的机会。
-
牌组管理低效(臃肿)
- 跳过奖励率低:AI跳过非理想卡牌奖励的比例仅为3%-13%,远低于人类玩家的23%。
- 抽卡效率低:由于不断累积卡牌,AI在第一阶段BOSS战时平均牌组大小为19.3张,而人类玩家仅为16.8张。牌组越臃肿,关键卡牌的抽取概率越低,进一步削弱了后期战斗力。
-
跨局学习机制固化保守倾向
- 实验设置了“跨局学习”机制,允许AI将经验写入记忆库供后续对局参考。然而,人工审核发现,AI记忆库中建议“谨慎行事”的记录有119条,而建议“冒险”的仅17条。
- 这种保守倾向被记录并传递给下一局,形成了“越来越胆小”的恶性循环,导致AI无法从失败中优化战略,反而强化了规避风险的错误策略。
值得关注的能力对比
- 局部微操 vs. 全局战略:强模型在单场战斗中的表现优异,平均每场掉血8.2点(弱模型为14点),且无“错斩”现象,说明其局部战术计算能力已接近顶尖水准。然而,随着游戏阶段推进,AI的胜率呈断崖式下跌(第三阶段通关率0%-20%),而人类高手能保持平滑的胜率曲线(第三阶段56%-71%)。
- 战略权衡缺失:AI难以理解“牺牲眼前血量以换取长期强度”的逻辑。人类玩家往往通过主动承担风险(如少休息、多打精英)来构建更强卡组,而AI因过度重视即时生存,导致后期强度不足。
结论与意义
该研究揭示,尽管当前最强的大模型在处理即时任务和局部战术上表现出色,但在需要跨越长时间线、进行复杂战略权衡的任务(如投资决策、项目管理等)中,仍存在显著短板。AI目前尚不具备在不确定性环境中平衡“短期安全”与“长期收益”的能力,《杀戮尖塔》因此仍将是评估AI长期战略能力的重要基准测试。
