清华大学研究揭示AI语言模型灵活性或削弱其推理能力

这项由清华大学LeapLab、NLPLab与阿里巴巴集团联合开展的研究，发表于2026年1月22日，论文编号为arXiv:2601.15165v1。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

提起人工智能的语言模型，一个普遍的直觉是：越灵活越好。就像一位解题高手，若能不拘泥于固定思路，从多角度切入，理应表现更佳。然而，清华大学的最新研究揭示了一个反直觉的现象：在处理数学推理和编程这类复杂任务时，那些看似更“灵活”、能自由决定生成顺序的AI模型，其表现反而不如按部就班、从左到右工作的传统模型。

这一发现挑战了AI模型设计的传统认知。研究聚焦于一类称为“扩散大语言模型”的系统。其独特之处在于，它们无需遵循固定的从左到右顺序生成文本，而是可以任意选择先写哪个词、后写哪个词。这好比写文章时，你可以先写下结论，再填充论证过程，或者先构思出最精彩的段落。理论上，这种自由度应能为AI开辟更多解决问题的路径。

一、灵活性的陷阱：为什么“自由”反而成了束缚

要理解这个矛盾，需要深入模型的“思考”过程。面对一道数学题，传统模型如同一位按部就班答题的学生，必须顺着逻辑链条一步步推导，无法跳过难点。

而具备任意顺序生成能力的扩散模型，则像一位可以“挑着做”的学生。当遇到困难的推理步骤时，它会倾向于先去处理那些看似“简单”的部分，将关键的逻辑连接词和难点留到最后。这种策略初看聪明，实则埋下隐患。

研究发现，在推理过程中，那些被模型判定为“困难”的词汇，往往是承载核心逻辑关系的转折点，例如“因此”、“所以”、“由于”。当模型选择绕过这些节点，先去填充其他内容时，相当于提前预设了部分上下文，从而无形中限制了后续推理的多种可能性。

研究团队将这种现象命名为“熵降解”。通俗地说，就是思考过程中本应存在的丰富可能性，被过早地“固化”了。这就像先知道了数学题的答案，再回头去拼凑步骤，思路难免被已知答案所束缚，难以探索其他解法。

二、对抗不确定性：谁更勇敢面对推理的分岔路口

为了量化这一现象，团队进行了系统的对比实验。他们选取了LLaDA-Instruct、Dream-Instruct等代表性扩散模型，在GSM8K、MATH-500数学推理数据集，以及HumanEval、MBPP编程任务上进行测试。

实验设计巧妙：让同一模型分别以“灵活”的任意顺序和“传统”的从左到右顺序来解题，并使用“Pass@k”指标来衡量其推理潜力。该指标衡量的是模型尝试k次后，至少成功一次的概率。

结果颇具启发性。在GSM8K任务中，当仅尝试一次（k=1）时，两种方式表现接近。但随着尝试次数增加，差距逐渐拉大。传统顺序生成方式展现出更强的探索潜力——它能在更多次尝试中找到正确答案。这意味着传统方式保留了更广阔的解题空间。

更进一步的分析显示，“灵活”方式能解决的问题，几乎都包含在传统方式的能力范围内；而传统方式能解决的许多问题，“灵活”方式却无法触及。例如在HumanEval编程任务中，传统方式独立解决了21.3%的问题，而“灵活”方式独立解决的仅占0.6%。这确凿地证实了“灵活性陷阱”的存在。

三、深入机制：为什么逃避困难会适得其反

研究团队深入模型内部，揭示了现象背后的机制。当扩散模型采用任意顺序生成时，它会系统性地规避那些具有高不确定性的词汇。

统计发现，在MATH-500数据集上，被跳过频率最高的词汇正是“Therefore”、“Thus”、“Since”等逻辑连接词。这些词是推理过程中的“分岔点”，决定了后续思维的走向。

关键在于，在传统从左到右的生成过程中，模型必须在这些高不确定性节点上做出选择。这种不确定性用“熵”来度量，熵值越高，代表可能性越多。正是面对这种困难选择的过程，维持了推理路径的多样性。

相反，当模型可以自由选择顺序，将困难节点留到最后处理时，其周围的上下文已然确定，原本丰富的可能性被大幅压缩。这好比在迷宫中，如果先确定了终点附近的路径，再回头选择起点方向，选择范围必然受限。熵值测量证实，在任意顺序生成下，关键逻辑词的熵值显著降低，意味着探索空间被实质性压缩。

四、解决方案：回归简单的力量

基于此，研究团队提出了一个逆向的解决方案：既然过度的灵活性有害，何不回归简单？他们开发了一种名为“JustGRPO”的训练方法，核心思想直白而有力——在训练阶段强制模型按照从左到右的顺序进行推理。

其巧妙之处在于，约束仅施加于训练过程。在实际应用（推理）时，模型仍保留并行处理能力，可同时生成多个词元，从而保障运行效率。这如同训练舞者时严格要求基础动作，登台表演时却依然能展现行云流水的舞姿。

实验结果验证了“简单即美”的哲学。经JustGRPO训练的模型，在多项推理任务上性能显著提升。在GSM8K数学推理任务中，准确率达到89.1%，较之前最佳方法提升3个百分点。在更困难的MATH-500任务上，提升幅度达6.1个百分点。

这种提升是全面且稳定的。无论是在生成长度为128、256还是512个词元的任务中，JustGRPO都表现出一致优势，表明其增强的是模型根本的推理能力，而非针对特定任务的技巧性优化。

五、保持优势：并行处理能力的完整保留

一个自然的担忧是：训练时限制灵活性，是否会损害扩散模型原有的并行处理优势？团队专门对此进行了验证。

他们采用“熵界限采样器”等技术测试模型的并行性能。结果令人惊喜：JustGRPO训练出的模型不仅完全保留了并行处理能力，甚至在速度与准确性的权衡上表现更优。

具体而言，当采用更激进的并行策略（每步生成更多词元）时，传统扩散模型的准确性会急剧下降，而JustGRPO模型则保持了相对稳定的性能。在MBPP编程任务中，当并行度提升至每步约5个词元时，传统模型性能恶化，而JustGRPO模型的准确性仍比基线高出25.5%。

这表明，JustGRPO并非通过限制能力来换取单项指标提升，而是真正改善了模型的内在推理结构。训练时的顺序约束如同一个脚手架，帮助模型构建了更稳固的推理框架，该框架在不同应用场景下均能发挥效力。

六、广泛验证：跨任务的一致性表现

为确保发现的普适性，研究在多种任务和设置下进行了广泛测试。除了数学与编程，还考察了不同温度参数、采样策略和模型结构的影响。

对温度参数的测试尤其具有启发性。传统观念认为，更高的温度设置会使模型输出更具“创造性”和多样性。但本研究发现，对于任意顺序生成的模型，需要施加更高的温度才能达到最佳性能，这恰恰印证了其内在的“熵降解”问题——需要额外注入随机性来补偿探索能力的不足。

即便如此优化，任意顺序生成仍无法匹配传统顺序生成的推理潜力。这好比依赖外部刺激的运动员，或许能短暂提升状态，却难以超越天赋与基础训练扎实的选手。

团队还测试了包括负熵采样、边际采样在内的复杂采样算法。有趣的是，那些能改善任意顺序生成性能的算法，往往会使模型的行为模式更接近于传统的从左到右生成。这从另一个侧面支持了核心观点：对于推理任务，传统的顺序约束具有内在价值。

七、效率分析：简单方法的实用优势

除了性能优势，JustGRPO在实用性上也展现出显著优点。传统上，为扩散语言模型设计强化学习算法极为复杂。由于模型可通过无数路径生成同一结果，算法需处理组合爆炸的概率计算问题，现有方案常依赖近似方法，且不稳定、调参复杂。

相比之下，JustGRPO通过放弃任意顺序生成，将这一复杂问题转化为了传统语言模型的标准优化问题，极大简化了工程实现。

训练效率对比实验体现了简化的价值。在相同计算资源下，JustGRPO收敛更快，最终性能更优。团队还尝试了一项优化：鉴于推理主要依赖于高不确定性的“分岔”词汇，他们将梯度计算限制在熵值最高的25%词汇上，进一步加速了训练。

这种工程简洁性对实际应用意义重大。在AI技术快速迭代的当下，高效且易于实现的方法往往能更快落地，产生更广泛的影响。

八、理论反思：重新审视灵活性的价值

这项研究的意义超越了提出一个新方法，它引发了对AI模型设计哲学的深层思考。长期以来，赋予模型更多自由度和灵活性被视为一种进步。直觉上这似乎合理——人类专家在解决复杂问题时，确实会运用多种策略和跳跃性思维。

但这项研究提醒我们，人类的灵活性与当前AI模型的灵活性可能存在本质差异。人类专家的非线性思维建立在深厚的领域知识、直觉和元认知能力之上，他们知道何时可以跳跃，何时必须严谨推导。而现有AI模型的“灵活性”，更像是一种缺乏高层指导的、盲目的优化倾向。

从认知科学视角看，这一发现也颇具启发性。人类学习复杂推理技能时，往往先掌握严格的步骤与规则，待基础牢固后，方能发展出灵活运用的能力。这项研究暗示，AI模型或许也需要类似的学习路径——先通过约束性训练建立稳固的推理框架，再在此基础上发展更高级的能力。

九、实际应用：对AI系统设计的启示

这项研究为实际AI系统设计提供了几点关键启示：

首先，在设计用于复杂推理任务的AI系统时，不应盲目追求表面上的生成灵活性，而应更关注系统能否有效处理推理过程中的关键决策点。

其次，它凸显了训练策略的决定性作用。相同的模型架构，采用不同的训练方式，可能衍生出截然不同的能力特征。JustGRPO的成功表明，有时通过施加恰当的约束来引导学习，反而能收获更好的结果。

对于开发或使用大语言模型的机构而言，这项研究指出了一个实用的改进方向。与其投入大量资源开发复杂的任意顺序生成算法，优化传统的序列生成方法可能会带来更高的投资回报率。

同时，研究也为评估AI系统能力提供了新视角。传统评估多关注单次尝试的表现，而像Pass@k这类指标更能反映模型的推理潜力和可靠性，这对需要高可靠性的应用场景尤为重要。

十、未来展望：简约设计的新方向

这项研究开辟了AI模型设计的一个新思路：在某些场景下，减少而非增加模型的自由度，可能是更优的选择。这种“简约主义”的设计哲学，或许在其他AI任务中同样具有应用价值。

研究团队指出，他们的发现可能不仅限于语言模型，对图像生成、音频合成等其他生成式模型亦有启发意义。是否存在类似的“灵活性陷阱”？值得进一步探索。

从更广阔的视野看，这项研究也呼应了AI领域近年来的一个重要趋势：愈发重视模型的可解释性与可控性。与其让模型在黑箱中进行复杂的、难以捉摸的优化，不如通过精心设计的约束来引导其行为，使其更符合人类的预期与需求。

当然，这并非全盘否定灵活性的价值。关键在于，如何在合适的时机、以合适的方式引入灵活性。这项研究为寻找这种平衡提供了宝贵的经验证据与理论洞察。

总而言之，这项由清华大学主导的研究，挑战了AI领域的一个基本假设，证明了在某些情况下“少即是多”的古老智慧。它不仅提供了一种实用的模型优化方法，更重要的是，提醒我们在追求AI系统强大能力的过程中，始终需要对基础原理保持深刻的审视。正如研究结论所暗示的，回归语言建模的基本秩序，或许正是推动下一代AI系统取得突破的关键所在。

Q&A

Q1：什么是扩散大语言模型的任意顺序生成能力？

A：扩散大语言模型可以不遵循传统的从左到右顺序生成文本，而是能够任意选择词汇的生成顺序。这类似于写文章时可以先写结论再补论证，或先写核心段落再补充上下文。理论上，这种灵活性有助于AI探索更多解题路径。

Q2：为什么灵活的生成顺序反而限制了AI的推理能力？

A：研究发现，这种灵活性会导致AI逃避困难的推理步骤。当遇到“因此”、“所以”等关键逻辑连接词时，AI会优先处理简单部分，将困难点留后。但这相当于先预设了结论或部分上下文，从而限制了推理过程的多种可能性，即所谓的“熵降解”现象。

Q3：JustGRPO训练方法有什么优势？

A：JustGRPO方法在训练阶段强制模型按从左到右顺序推理，但在应用时保留并行处理能力。实验表明，该方法在GSM8K数学推理任务中达到89.1%的准确率，比之前最佳方法提升3个百分点。其核心优势在于，既显著提升了推理性能，又简化了技术实现，同时保持了高效的运行速度。