TRM思考奖励模型上线 大模型推理质量可量化

大模型推理能力持续增强，然而答案正确，就代表思考过程同样出色吗？ 这好比同一道数学题，两位学生都给出了正确答案。一位解题步骤清晰、推导严谨、思路流畅；另一位却绕了一大圈无关推导，跳过关键环节，最后勉强凑出正确结果。 单看结果，两份答案都对。但若要挑选一份更值得学习、更值得借鉴的解题思路，无疑是前者。 大模型推理也面临相似的挑战。 模型在给出最终回答之前，通常会生成一段长达数千甚至上万token的推理过程（reasoning trace）：里面包含探索、反思、修正，也掺杂重复打转、跳跃步骤，以及看似完整却经不起推敲的“伪证”。 然而，绝大多数评测和奖励信号，只看最终答案是否正确。这就无形中抹平了“思考过程的高下之分”。 什么样的思考过程才算优秀？一段自由形式的推理链，又该如何被稳定评估？这种评估信号，能否反过来帮助模型学会更优质的推理方式？ 针对这些问题，来自上海人工智能实验室、上海交通大学、香港中文大学的研究团队提出了**TRM（Thinking Reward Model）**：不再仅关注大模型“是否答对”，而是直接对其推理过程进行评分，将“思考得好”转化为可度量、可训练、可优化的能力。

具体而言，团队提出了一套统一的框架：采用**ME² principle**刻画推理质量，利用**DAG-based pairwise evaluation**还原推理结构，并在此基础之上训练Thinking Reward Model，将“推理质量”从主观感受转变为可复用的奖励信号。

为什么“答案是否正确”已经不够用了？

过去，许多大模型评测主要依赖最终答案的正确性。对于问答题、代码题来说，这种方式很直接：答对得分，答错不得分。 但对于推理模型而言，只看答案会遗漏一个关键问题：**模型究竟是如何得出这个答案的？** 同样答对一道题，一个模型可能沿着主线稳步推进，另一个却反复重启同一思路、进行大量无效检查，甚至用错误步骤支撑起正确结论。 这些低质量的推理不仅推高了生成成本，也让模型在题目条件变化时更容易出错。 在强化学习训练过程中，这一问题更为突出。如果奖励只关注最终答案，那么所有答对的推理链都会得到相同的反馈。但在答案之外，还需要进一步区分：**哪条推理链更清晰、更紧凑、更值得模型学习。** 这正是TRM聚焦的核心问题。 TRM的整体框架如下：(a) 提出ME² principle, (b) 用DAG抽象复杂推理结构, (c) 训练Thinking Reward Model，并将其应用于Test-Time Scaling和RL。

ME² principle：什么样的思考过程才算优秀？

要评估推理质量，首先需要明确“好”究竟指代什么。 论文沿两条正交轴拆解推理质量：粒度上分为**macro**（整体结构）和**micro**（单步内容）；目标上分为**efficiency**（高效）和**effectiveness**（有效）。两两组合得到四个维度： **-Macro-Efficiency：** 整体结构是否高效。优秀的推理链会沿着必要分支推进，避免在同一条思路上反复重启，也不会进行过多无效检查。 **-Macro-Effectiveness：** 整体结构是否有效。推理主线应始终围绕问题目标展开，分支之间关系清晰，关键论证能够前后衔接。 **-Micro-Efficiency：** 单步表达是否简洁。每一步最好都有明确作用，例如计算、验证、排除或归纳，避免写入不影响结论的重复内容。 **-Micro-Effectiveness：** 单步内容是否正确。局部计算、符号使用和前后结论需要自洽，不能使用错误步骤支撑正确答案。 这四个维度将“哪条推理更优”分解为可标注、可比较、可训练的信号，构成了后续整套评估与优化流程的基石。

DAG-based Evaluation：让自由形式的推理变得可结构化

模型推理链通常是一长串自然语言文本，表面上按顺序展开，但真实推理过程并非直线前进。它可能先推进一条主线，中途展开几个分支，排除一些可能性，再将有效分支合并回来。 更棘手的是，长文本中包含大量局部细节，容易淹没真正重要的结构信号。如果不将推理结构显式拆分出来，评估模型就很难稳定区分它们。 因此，论文将自由形式的推理链抽象为**有向无环图**（DAG）。具体来说，先将原始文本切分为一系列原子步骤，将每个步骤作为一个节点，再按照语义依赖关系连接边。这样一来，推理链中的progression（线性推进）、branching（分支探索）和merging（分支合并）就能清晰呈现。 为此，论文将任意推理链抽象为有向无环图（DAG），并将这一过程拆分为三步： **1.Step Partitioning：** 先按段落进行粗切分，再统计大量轨迹中高频出现的起始词，作为更稳定的分隔符，从而得到一致、具有语义意义的步骤边界。**2.Reasoning Structuring：** 按时间顺序遍历每个推理步骤，利用大模型分配其语义父节点，逐步构建边；再将完全线性的相邻节点合并为超节点，得到紧凑的DAG，清晰展现progression、branching和merging等复杂结构。**3.Pairwise Evaluation：** 根据ME² principle构造语义抽象，再让评估模型基于这些抽象给出两条推理链的相对偏好。Macro和Micro两种粒度分别对应不同的抽象方式，覆盖ME² principle的四个维度。 这样，评估模型就不必只盯着整段长文本，而是可以沿着推理结构进行观察：主线是否清晰，分支是否必要，局部步骤是否简洁、正确。如此得到的判断，也比直接阅读原文更为稳定。

Thinking Reward Model：将推理质量转化为可复用的奖励信号

基于上述评估框架，研究团队构建了**TRM-Preference数据集**。对于每个问题，研究者先使用多个开源推理模型生成候选推理链，再通过规则验证器筛除答案错误的轨迹，**只保留最终答案正确的样本**。 这样一来，后续比较的重点就从“答案是否正确”，转向“答案都正确时，哪条推理链更优”。 随后，论文利用DeepSeek-V3.2在ME²四个维度上对DAG进行成对评估。为减少位置偏差，评估会在正反两种呈现顺序下重复进行，只保留判断稳定且非平局的偏好标签。最终得到**103K训练偏好对+1.5K验证偏好对**，构成TRM-Preference数据集。 TRM以Llama-3.1-8B-Instruct为初始化，将语言建模头替换为标量value head。在TRM-Preference上训练完成后，TRM会为每条推理链输出一个标量分数：分数越高，越符合ME²对高质量推理的定义。 在验证集上，TRM取得了88.6%的准确率，明显优于两个代表性PRM基线。

核心发现一：高质量推理链得出的答案更可靠

TRM评估的是**推理链质量**，但这一信号也能反过来提升最终答案的准确率。 在测试时，可以将TRM应用于**Best-of-N selection**中：让模型针对同一个问题生成多条候选推理链，再由TRM选出质量最高的一条。实验显示，随着N值的增大，TRM选出的结果能够带来更高的最终准确率。

核心发现二：用作RL奖励，模型回答更准确

在训练阶段，TRM也能为强化学习提供更细粒度的奖励信号。 传统RLVR通常只关注答案对错，而加入TRM后，模型可以在答对的基础上继续学习更清晰、更高效的推理方式。 具体而言，论文采用GRPO算法，通过门控奖励组合（gated reward shaping）将可验证奖励

与TRM给出的思考奖励

进行组合：

**“门控”**的关键在于：只有答案正确时，TRM才参与奖励组合（reward shaping），错误轨迹的奖励始终为0，避免模型从错误轨迹中学习到不良习惯。 实验结果显示，这一思路在多个模型和任务上都带来了性能提升。 RL训练结果如下。TRM作为辅助奖励，在多个模型和STEM/Math任务上实现了更稳定的性能提升。

核心发现三：不仅答案更准，推理过程也更优

不过，性能提升并不等同于推理过程一定变好。为进一步验证这一点，论文使用DeepSeek-V3.2按照ME² principle，对不同训练策略生成的推理链进行成对比较。 结果显示，在三个基座模型上，经过TRM训练的策略相较于多种基线策略，均取得了更高胜率。 这说明TRM让模型生成的推理过程更接近清晰、高效、可靠的推理标准。

**不同训练策略下的推理质量胜率。蓝色虚线表示50%胜率。** 随着大模型向复杂数学、科学推理、智能体规划和长期任务执行等方向演进，推理过程的重要性将持续上升。 未来的模型既要答对，也要更善于组织思路、减少无效分支、抓住关键步骤。 TRM的意义在于，它让**想得好**从一种主观感受，转变为可以度量、可以训练、可以优化的能力。