王梦迪团队推出TraceRL：迈向扩散语言模型「RL大一统」

数码系统

相机 win10

测评 win11

手机智车

华为 Tesla

小米理想

苹果蔚来

游戏软件

LOL 抖音

原神微信

当前位置：首页

科技数码

王梦迪团队推出TraceRL：迈向扩散语言模型「RL大一统」

热心网友时间：2025-09-16

转载

鉴于自回归大语言模型（LLM）在计算效率、吞吐量上的局限性，扩散语言模型（DLM）正受到越来越多的关注。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

然而，业内目前缺少一个可适用于各种 DLM 架构（如全注意力 DLM 和块注意力 DLM）的统一且有效的强化学习（RL）框架。同时，现有研究也忽视了对齐推理轨迹与训练目标的重要性。

日前，普林斯顿大学王梦迪教授团队在一项最新研究中提出了“轨迹感知 RL”框架——TraceRL，其可以应用于全注意力和块注意力模型，并实现快速优化。

论文链接：https://arxiv.org/abs/2509.06949

值得一提的是，使用 TraceRL 训练的 4B DLM 模型，在多项复杂数学推理任务上的表现超过了 7B 自回归模型。

通过课程学习，他们还推出了第一个长思维链扩散语言模型（long-CoT DLM），在 MATH500 上的相对准确率比 Qwen2.5-7B-Instruct 提高了 18.1%。

图｜左：不同方法的 RL 训练动态，其中 TraceRL 达到最佳优化。右：基于 KV 缓存评估的复杂数学推理任务与 LiveCodeBench-V2 基准测试结果对比。

同时，他们也提出了一个基于扩散的价值模型，从而降低方差并提高训练稳定性。他们还探索了 TraceRL 的更广泛潜在应用，如增加模型的块大小和加速推理。

此外，他们还开源了一个完整集成框架——dLLM-RL，用于跨不同架构构建、训练和部署 DLM。该框架包含了各种后训练方法和加速 KV 缓存技术的实现，既支持可复现的研究，也支持实际应用。

地址：https://github.com/Gen-Verse/dLLM-RL

亟需解决DLM“不匹配”难题

研究团队强调，DLM 在后训练阶段所采用的目标，与其在实际推理（生成文本）时所遵循的轨迹之间，存在着显著的不匹配。标准训练方法，如完全随机掩码，虽然能够实现并行解码，但忽略了语言本身固有的、依赖上下文的有序逻辑。这种训练与推理行为的脱节使得模型优化效率低下。

为了说明这一差异，他们首先通过实验证明，采用半自回归式的微调方法，即训练模型根据先前的上下文生成后续内容，其优化性能显著优于全随机掩码方法，即使在计算负载相同的情况下也是如此。这表明，将训练目标与推理模式对齐至关重要。

为了进一步验证对齐的重要性，他们收集了模型自身的“偏好推理轨迹”，即模型在生成内容时实际遵循的步骤顺序。实验结果显示，使用这些真实的推理轨迹进行微调，所取得的性能超过了其他基线方法，并且计算成本更低或相当。

最后，尽管使用偏好轨迹进行微调效果很好，但收集这些轨迹需要大量额外工作。相比之下，RL 在其“rollouts”（即模型生成样本）过程中会自然地产生这些推理轨迹。因此，RL 是一种更实用、更有效的训练后策略，能够天然地利用这些轨迹来优化模型。

TraceRL：“小扩散语言”>“大自回归”

在这项工作中，TraceRL 关注由 DLM 生成的中间轨迹且可跨架构应用。

图｜TraceRL 概述。本示例采用 s=2、L=6 和 B=3 的参数配置。通过聚合每 s 个相邻步骤，实现了轨迹感知 RL。方框内的数字对应策略推理过程的执行顺序。

在数据方面，研究团队采用了不同的数据源：

（1）选用 Math 训练数据集，生成 8000 个硬核任务；

（2）选择 GSM8K、MATH500、AIME2024 作为测试基准，以评估聚焦于数学与编程领域的推理任务；

（3）在编码强化学习场景中，采用 PrimeIntellect 平台提供的 6000 道已验证题目验证；

（4）针对编程测试，在评估时选用 LiveCodeBench-V2、LiveBench 作为测试基准。

表｜不同数学与编程任务的主要基准测试结果。“静态”指静态采样，“动态”指动态采样。此处采用阈值 0.9 的动态采样方法对长 CoT 模型 TraDo-8B-Instruct 进行评估

在模型训练方面，包括全注意力模型和块注意力模型，并在评估过程中同时报告静态采样和动态采样的结果。过程如下：

第一步：由 TraceRL 单独训练模型；

第二步：联合训练长 CoT 模型；

第三步：TraceRL 与其他 RL 方法进行对比实验；

第四步：TraceRL 在全注意力模型与编码任务中的验证；

第五步：进行区块大小扩展实验。

基于实验结果，他们证明了 TraceRL 的有效性与强性能，完整结果如下：

首先，他们基于 SDAR 基础模型，利用 TraceRL 开发了 TraDo-4B-Instruct 和 TraDo-8B-Instruct 两种模型。在数学、编程和 5 个推理数据集的评估中，这些模型不仅与强扩散语言模型、自回归模型形成有效对比，其生成能力也展现出显著优势。

图｜TraceRL 在数学任务中对 4B 和 8B 模型的训练曲线。红色曲线表示动态采样精度，其采样速度更快；蓝色曲线表示静态采样精度，可获得更高的精度。4B 模型使用价值模型进行训练，而 8B 模型直接使用 Jpolicy 进行训练。

TraDo-4B-Instruct 在推理任务上展现出 SOTA 水平，证明了 TraceRL 的有效性。无论是动态采样（更快）还是静态采样（更准确），模型的性能都得到了显著提升。值得注意的是，在所有数学任务中，TraDo-4B-Instruct 的表现甚至超越了 Qwen2.5-7B Instruct 等强自回归基线模型。

尽管他们在 RL 训练过程中采用了动态采样策略，但动态与静态准确率均呈现稳步提升趋势，且有趋势表明模型仍有扩展潜力。这种 RL 训练显著提升了模型的数学推理能力：

在 MATH500 测试中，TraDo-4B Instruct 模型静态准确率提升 5.4%，动态准确率提升 4.2%，优化后超越 Qwen2.5-7B-Instruct；而 TraDo-8B-Instruct 模型则分别实现静态准确率 4.2% 和动态准确率 4.8% 的提升。

图｜基于块扩散模型和数学 RL 任务的 RL 方法消融实验。红色与黄色曲线分别对应启用和禁用价值模型的 TraceRL 训练结果，蓝色曲线采用类似半自回归训练法的随机掩码目标进行块内训练，绿色曲线则通过在块内添加互补性掩码实现额外训练效果。

他们进一步将 TraceRL 与现有的 RL 方法进行了对比研究，重点关注块扩散模型。尽管当前 RL 方法主要针对全注意力模型开发，但他们将其直接适配到块结构中。对于随机掩码方法，他们限制每个块内的采样操作，使其类似于半自回归方法。对于耦合强化学习，他们在每个训练模块中引入了互补目标函数，从而获得更稳定且高效的训练效果。基于数学任务的实验结果显示，无论采用何种优化策略，TraceRL均展现出最优性能。