Preference Model 偏好模型

一句话解释

Preference Model 是一种学习人类偏好的模型，它通过用户对多个选项的对比反馈（如“A比B更好”），来预测哪些输出更受人类喜欢。

在AI领域，它常作为强化学习中的奖励信号来源，帮助语言模型生成更符合人类价值观的内容。

为什么会被关注

随着大语言模型的发展，如何让AI输出“更懂人”成为关键难题。Preference Model 提供了一种可量化、可迭代的方法，将模糊的人类偏好转化为明确的训练目标。

OpenAI 的 InstructGPT 和 ChatGPT 正是通过先训练偏好模型，再用强化学习优化，才实现了显著的对话质量提升。这种方法已成为对齐技术的标配。

核心逻辑

Preference Model 的核心是构建一个排序函数或评分函数，能够对任意给定的候选输出打出代表“被喜爱程度”的分数。训练数据通常是人类标注的对比对（如对两个回答排序）。

模型通过学习这些对比样本，学会理解人类偏好的隐式标准（如简洁、准确、友好等），最终输出一个标量分数。在RLHF中，这个分数作为奖励信号指导语言模型微调。

常见场景

最常见的是大语言模型的对齐训练：先收集人类对多个生成结果的排序数据，训练一个偏好模型，再用PPO算法优化语言模型。

在推荐系统中，偏好模型用于学习用户对物品的隐式排序（点击、收藏、停留时长等），从而排序候选列表。搜索引擎也用它来调整结果顺序，让最符合用户意图的页面排前。

容易混淆的点

Preference Model 常与“奖励模型”混用，实际上奖励模型是偏好模型的一种实现——输出连续分数，而偏好模型更广义，也可输出排序结果。

它不同于简单的分类或回归模型：分类模型预测“好或坏”，偏好模型则学习相对比较关系，对排序质量更敏感。此外，与推荐系统中的“协同过滤”不同，偏好模型不依赖用户历史行为矩阵，而是直接学习对比信号。