清华团队研发TDRM算法：用时间差分优化奖励函数

前沿研究突破：时间差分奖励模型TDRM重塑LLM强化学习范式

奖励模型作为大语言模型强化学习与推理验证的核心组件，在数学推导、编程辅助和指令响应等关键领域展现出巨大潜力。但传统奖励模型存在一个致命短板——时间维度上的评估连续性缺失。这一问题直接导致策略优化方向偏差和训练过程波动加剧。

研究发现，当前模型在长序列推理过程中，单步奖励评估往往与其他步骤隔离割裂，产生误导性训练信号。特别是在复杂思维链场景下，模型需完成多步推演后才能获得终端奖励，致使各推理步骤价值难以准确判断。

针对这一核心挑战，清华大学联合加州理工研发团队创新性提出TDRM框架——运用时间差分(TD)训练方法构建具备时间一致性的奖励模型，显著提升模型训练稳定性。

值得关注的是，该项目已全面开源包括核心代码、训练数据和模型参数，为学界提供重要研究资源。

TDRM框架的技术创新

TDRM引入三重技术突破：首先是建立基于n步时间差分的过程奖励模型，其次在强化学习阶段实现实时在线优化，最终通过可验证奖励的线性整合形成完整解决方案。

与传统方法不同，TDRM创造性将时间差分技术应用于奖励模型本身的构建过程，而非仅用于数据预处理。这种革新思路带来了更平滑的奖励空间和更密集的训练信号。

关键技术特征

平滑性优化： 通过局部普希茨连续分析验证，TDRM相比传统方法显著降低27%的评估敏感度，确保推理微调不会引发奖励值剧烈波动。

创新的奖励机制： 引入余弦奖励函数与TD-λ算法的结合范式，既考虑单步推理正确性，又兼顾整体推理长度因素，实现精细化的奖励分配。

在线强化学习： 采用动态状态值计算方法，使模型能够实时适应训练轨迹变化，大幅提升价值预测的准确性。

实验结果验证

在MATH-500等五个高难度数学数据集上的测试表明，TDRM展现出卓越性能：Best-of-N采样方法中最高提升6.6%准确率，树搜索场景更是实现23.7%的性能飞跃。

强化学习场景下，TDRM仅需5%的训练数据量就能达到传统方法同等效果，在GLM4-9B等主流模型架构上都取得了明显的策略优化。

这项研究不仅解决了奖励模型的时间一致性问题，更为复杂推理任务的自动化评估开辟了新方向。开源资源的释放将加速该技术在更广泛领域的应用落地。