阿里与清华联合论文质疑扩散大模型任意顺序生成，获ICML杰出论文奖
阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》入选ICML 2026杰出论文。研究发现，扩散大语言模型在推理任务中，从左到右的生成顺序优于任意顺序，后者会导致模型绕过关键逻辑节点、推理路径被提前锁定，并提出了简单的Left-to-Right GRPO解决方案。
事件概述
阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》入选ICML 2026杰出论文（Outstanding Paper）。ICML杰出论文通常只授予2-3篇，获奖率约千分之一。
核心发现：任意顺序生成存在“熵退化”陷阱
扩散大语言模型（dLLM，如Google的Gemini Diffusion、中国人民大学的LLaDA）在生成文本时可任意选择token生成顺序，而不必从左到右。主流观点认为这会带来更大的解空间，但该论文首次提出质疑：在数学、编程等通用推理任务中，任意顺序生成反而会损害性能。
关键机制：模型中存在不确定性高的关键逻辑节点（如“因此”“所以”）。从左到右的顺序迫使模型在此处当场做出选择；而任意顺序下，模型倾向于先处理容易的部分，绕过这些难点，等回头再填充时前后文已锁定答案，推理路径被限制。研究者将此现象命名为“熵退化”。
实证数据：在HumanEval代码生成任务中，从左到右顺序能解出而任意顺序解不出的题目占21.3%，反向仅0.6%。自由度越大，推理性能越差。
解决方案：JustGRPO
团队提出的方案“JustGRPO”极其简洁——在强化学习训练阶段放弃任意顺序，强制模型从左到右生成，使用标准GRPO算法即可，无需为dLLM设计复杂算法。此前各团队因生成顺序不固定难以归因每个token的贡献，不得不引入各种复杂手段。JustGRPO相当于“放弃训练左手，直接用右手”。
训练完成后，模型推理速度不受影响，效果显著提升：在GSM8K（多步推理小学数学应用题测试集，约8500道题）上达到89.1%准确率，全面超越d1、ESPO、SPG、GDPO等专门为扩散模型设计的强化学习算法。