Process Reward Model

一句话解释

Process Reward Model是一种专门评估AI推理过程中每一步正确性的奖励模型，为强化学习提供细粒度的反馈信号。

为什么会被关注

传统的结果奖励模型只在最终答案正确时给予奖励，无法区分正确过程中的错误步骤，导致模型可能学到投机取巧的路径。尤其在数学证明、代码生成等复杂推理任务中，一步出错往往导致全盘失败，但模型难以定位问题所在。

过程奖励模型能对每一步分别打分，让模型明确知道哪一步出了问题。这一特性显著提升了模型在长链推理中的稳定性和可解释性，也降低了人工标注成本——因为标注者只需判断单步的正确性而非整体输出。

核心逻辑

过程奖励模型的核心是将一个推理轨迹拆解为若干步骤（例如公式推导的每一步或代码的每一行），并为每个步骤分配一个奖励值。这些奖励通常由人工标注或自动规则生成，也可以由另一个训练好的模型来预测。

在训练阶段，强化学习算法（如PPO）利用这些步骤级奖励来更新策略网络，引导模型生成每一步都正确的中间输出。推理时，模型可通过蒙特卡洛树搜索等算法，在多个候选步骤中选择奖励最高的路径，从而提升最终输出的质量。

常见场景

数学解题：模型在解答数学题时，每一步的公式推导是否正确，过程奖励模型能及时反馈错误，避免模型沿着错误方向继续推算。

代码生成：在生成多行代码时，PRM可检查每行代码的语法和语义正确性，甚至在执行前就预测其是否符合预期逻辑。

对话系统与多步规划：在任务型对话或机器人规划中，PRM评估每个子目标的完成情况，辅助模型调整后续策略，提高长期任务的成功率。

容易混淆的点

过程奖励模型（Process Reward Model）与结果奖励模型（Outcome Reward Model）最易混淆。前者关注中间步骤的正确性，后者只关注最终结果是否达标。例如：在解方程时，PRM会奖励每一步变形是否正确，而ORM只在得到最终解后给予奖励。

另外，PRM与RLHF中的奖励模型也不相同。RLHF奖励模型通常对完整输出进行整体打分，而PRM是对输出中的每个中间状态单独打分。两者可以结合使用：RLHF提供宏观偏好，PRM提供微观指导。

还需要注意PRM与“过程监督”（Process Supervision）的概念关系。过程监督是训练范式，PRM是实现这一范式的具体模型结构或方法，二者不可混为一谈。