清华深研院AI推理突破：告别非此即彼，用双提升做新探索

当大型语言模型面临复杂问题解析时，往往陷入一个根本性抉择：是广泛尝试多种解法拓宽可能性边界，还是聚焦既有知识体系寻找确定性答案？传统认知框架下，这两种策略仿佛处于光谱两端，只能择一而行。然而清华大学深圳国际研究生院联合加州大学洛杉矶分校与深圳技术大学组成的研究团队，通过一项突破性研究彻底改写了这一底层逻辑。

研究团队将分析视角从表层词汇输出转向深层思维轨迹，聚焦模型处理问题时的隐藏状态——这些未被直接观测的语义表征，犹如人类思考时未说出口的思维火花。通过引入“有效排序”这一数学工具，他们精准量化了模型在语义空间中的探索行为。与传统矩阵排序仅统计维度数量不同，有效排序能解析维度的"质量分布"，恰似评估探险路线时不仅要看勘探次数，更要判断路径是否形成有效知识积累。

基于有效排序理论框架，研究人员进一步构建出动态监测指标：有效排序速度衡量信息提取效率，反映知识运用能力；有效排序加速度则捕捉信息获取速率的变化趋势。正值表征认知活跃度提升，负值意味着推理进程趋于停滞。实验观察发现，正确推理路径中，有效排序加速度始终保持较高水平，而错误路径往往同时出现高探索和高利用指标，表明过度探索与信息获取失衡可能导致思维偏离正确方向。

这一发现促使传统训练方法的设计思路发生根本转变。研究团队开发的VERL（速度利用排序学习）方法，通过实时监控隐藏状态的动态演化，将有效排序加速度作为“智能调度器”。当模型显现过度自信倾向时，系统自动增强探索激励；当推理可能陷入停滞时，则强化知识利用奖励。这种双通道调节机制如同为AI安装双引擎系统，既能预防认知固化，又可巩固有效推理模式。

VERL的创新价值不仅在于机制设计，更在于其稳定性保障。由于有效排序加速度具有理论上的O(1)增长稳定性，它为模型训练提供了可靠的方向指引信号。在多项语言模型与数学推理基准测试中，VERL均展现出显著优势。以Llama-3.2-3B-Instruct模型为例，在AIME24数据集上，应用VERL后准确率从3.3%提升至13.3%；在高考2024数据集这类高难度测试中，准确率提升幅度达21.4%。

在Pass@k测试范式中，VERL的协同优势更为突出。此类测试要求模型生成多组备选答案，只要存在正确解即判定成功。经VERL训练的模型在部分数据集上，Pass@k的改进幅度超越Pass@1，直接证明了其在增强探索能力方面的有效性。消融实验进一步验证，仅使用探索或利用单一策略均无法实现稳定性提升，唯有两者有机融合才能持续改进。

实际应用案例生动展现了VERL的实践价值。在涉及负数比较的数学问题中，传统方法训练的模型错误认为-1小于-13，而VERL训练的模型能正确处理这类基础概念。在房屋计数应用题中，传统模型忽视约束条件，错误推断每条街道仅有10栋房屋；VERL模型则正确理解约束，得出每条街道20栋房屋的结论。在微分方程求解场景下，传统模型常忽略“纯指数”约束，给出包含多项式和三角函数的通解；VERL模型则严格遵循要求，仅输出符合条件的指数解。

VERL的成功源于对模型内部表征动态的深刻理解。传统方法在词汇层面观察到的探索-利用平衡，在隐藏状态层面几乎消失。这是因为词汇输出是高度压缩的结果，而隐藏状态保留了更丰富的语义信息。在这个更丰富的表征空间中，模型拥有足够的“空间”同时进行探索和利用。有效排序加速度作为元控制信号，能前瞻性地调节推理过程，引导模型走向更稳健的思维路径。

这项研究不仅提出了有效的技术方法，更从认知层面改变了我们对AI推理过程的理解。它突破了探索-利用不可兼得的传统认知，开创了基于语义表征动态性进行模型优化的新范式。通过多尺度分析框架，研究团队获得了单一尺度分析无法提供的深层洞见，为AI系统的持续改进开辟了全新方向。VERL所代表的“质量提升”型改进路径，在当前AI发展面临算力瓶颈的背景下具有特殊意义。

Q&A

Q1：VERL方法与传统强化学习方法的核心差异是什么？

A：传统方法基于词汇层面分析，认为探索和利用必须二选一；VERL则深入语义表征空间，发现两者可解耦共存，并通过有效排序及其导数同时增强这两种能力，如同为AI配备智能双引擎系统。

Q2：为何有效排序加速度能作为可靠的控制信号？

A：该指标具有O(1)增长稳定性，不会因问题规模或序列长度变化而剧烈波动。正确推理路径中，此指标往往保持较高值；而错误推理中的表现欠佳，因此可区分推理质量并指导训练。

Q3：VERL方法的实际应用效果如何？

A：实验数据显示，VERL在多种数学推理任务中显著提升性能，高考2024数据集上准确率提升达21.4%。更重要的是，它不仅提高准确率，还增强推理多样性，使AI能运用更丰富的解题策略。