阿里清华论文揭示扩散大模型推理能力入选ICML杰出论文

7月5日，阿里巴巴与清华大学共同完成的一篇论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》（灵活性陷阱：重新审视扩散语言模型中任意顺序生成的价值）一举拿下了AI顶会ICML的杰出论文奖（Outstanding Paper）。要知道，这一奖项是ICML的最高荣誉，通常每年仅授予2-3篇研究，获奖率只有接受论文的千分之一。能从中胜出，含金量不言而喻。

图说：2026年7月5日，ICML 2026 主席团公布两篇杰出论文名单，阿里巴巴与清华大学合作的论文入选。

扩散大语言模型（dLLM）是眼下备受瞩目的下一代语言模型架构，Google的Gemini Diffusion、中国人民大学的LLaDA都属于这个阵营。主流的LLM比如GPT、Qwen，生成文本的方式就像人敲键盘，一个字一个字从左往右吐出来。而dLLM不同，它在生成文本时可以在任意位置下笔，不用拘泥于从左到右的顺序。理论上，这让它有更大的生成解空间，因此过去一两年被寄予厚望。但这篇论文第一次对这种“灵活性”提出了质疑：在解决数学、编程这类通用推理任务时，任意顺序生成非但没帮上忙，反而可能一路走到黑。

研究团队发现了一个有趣的现象——不确定性高的关键逻辑节点，比如“因此”“所以”这类词，其实就像岔路口。如果你坚持从左往右生成，模型走到这里必须当场做出选择：到底怎么推导，不能跳过去。但如果允许它自由选择生成顺序，模型很容易绕开这些难点，先挑容易的部分填充。等回头再补这些关键节点时，前后的上下文已经固定，原本的推理分叉口也就变成了一个填空题——答案已经被上下文锁死了。

图说：从左向右的自回归顺序（a）迫使模型在每个逻辑分叉口做出选择；任意顺序（b）绕过难点，优先处理容易部分，导致推理路径被提前锁死。（图片翻译自论文）

选择权就这样被悄悄消解掉了，研究者把这种现象叫作“熵退化”。实证数据也支持这个判断：在HumanEval代码生成任务上，从左往右顺序能解出来、但任意顺序解不出来的题目占到了21.3%，反过来只有0.6%。而且，顺序的自由度越大，推理性能反而越差。

针对这个问题，团队给出的方案简洁得有点出人意料——JustGRPO。核心思路是：在强化学习训练阶段放弃任意顺序，强制模型从左到右生成，直接用GRPO算法就够了。GRPO本身是业界主流的算法，让模型对同一道题生成多组答案，再通过组内横向对比来优化策略。

在此之前，为dLLM设计强化学习算法一直是个工程难题：生成顺序不固定，你没法准确判断每个词对结果的贡献有多大。各家团队为此引入了一系列复杂手段。而JustGRPO可以说是大道至简——就像是所有人都在苦练左手的力量，突然有人问了一句：那为什么不直接用右手？

训练完成后，模型推理速度不受影响，但推理效果大幅跃升。在GSM8K（业界衡量大模型推理能力的标准测试集，约8500道多步推理小学数学应用题）上，准确率达到了89.1%，全面超越了d1、ESPO、SPG、GDPO等所有专门为扩散模型设计的复杂强化学习算法。

（附：论文下载地址 https://arxiv.org/abs/2601.15165）