清华研发TDRM模型：时间差分学习优化奖励平滑

奖励模型（RM）作为大语言模型（LLM）强化学习和推理验证的核心组件，已在数学推理、代码生成和指令执行等任务中展现出强大能力。然而现有奖励模型存在一个关键瓶颈——时间一致性不足，这不仅导致策略优化效果欠佳，还使得强化学习训练过程难以稳定收敛。

这一问题的根源在于：当前LLM推理过程中的单步奖励与上下文步骤缺乏关联性，使得训练信号变得混乱且误导性强。特别是在长思维链推理（CoT）场景中，模型往往要完成数十步推理后才能获得终端奖励，导致中间过程的奖惩信号极为稀疏。

为解决这一业界难题，清华-加州理工联合团队创新性地提出了TDRM框架，通过引入时间差分（TD）学习技术来构建具备时序一致性的平滑奖励信号。值得一提的是，该研究已完整开源所有代码、数据集及模型检查点。

技术突破与核心贡献

研究数据表明，经过TD优化的过程奖励模型（PRM）在两个关键场景中取得显著提升：在Best-of-N采样策略中最高提升6.6%准确率，在树搜索场景中提升幅度高达23.7%。更令人振奋的是，当与可验证奖励强化学习（RLVR）结合时，新方法展现出惊人的数据效率——仅需2.5k训练数据即可达到基线模型50.1k数据的性能水平。

框架设计原理

TDRM创新性地重构了传统奖励模型的训练范式，其核心包含三大模块：

• 时序奖励建模：采用n步TD学习结合奖励塑造技术
• 在线强化学习：基于PRM的实时策略优化
• 混合奖励机制：将过程奖励与可验证奖励智能融合

关键技术亮点

1. 奖励平滑性保障

研究团队通过双维度验证框架确保奖励信号的稳定性： - 局部Lipschitz常数分析（TDRM=0.2741 vs ScalarPRM=0.3331） - TD误差动态监测机制

2. 创新奖励塑造

• 余弦奖励函数：根据推理步长动态调整奖励权重
• TD-λ算法：实现奖励信号的实时传播
• 交叉熵损失：强化时序一致性学习

实证性能评估

推理验证场景

在Best-of-N采样测试中，TDRM展现出惊人的稳定性——当采样预算从128提升到1024时，其在MATH-500数据集上的表现持续领先基准模型。

强化学习场景

在包含MATH-500在内的5个高难度数学数据集测试中，TDRM仅用2500条提示数据就在8个不同规模的模型上实现了SOTA性能，其数据效率较基线提升20倍。