MIT相关奖励模型学习亟待改进

MIT 团队近期被 ICLR 2026 收录的一篇论文，深入探讨了 RLHF 领域的一个核心议题：目前训练奖励模型时广泛采用的“两两比较”方式——即让用户从两个回答中选出更优的一个——是否足以完整还原真实的人类偏好？研究结论掷地有声：远远不够。无论算法多么强大、模型规模多大，都存在一个统计学层面无法逾越的瓶颈。

当前大模型的 RLHF 训练流程看似简单：向用户展示两个回答 A 和 B，询问偏好，然后收集大量诸如 A > B 或 B > A 的偏好数据，奖励模型据此学习一个评分函数。这套框架背后的理论基础来自经典的随机效用模型（RUM），其中最常用的是 Logit 模型。其核心假设是，每个选项都有一个固定的效用值，用户总是倾向于选择效用更高的那个。

IIA假设

传统 Logit 模型满足一个著名的性质——IIA，即无关选项独立性。它意味着两个选项之间的偏好关系不会因第三个选项的加入或消失而改变。例如，若用户在 A 和 B 中更偏好 A，即便加入新选项 C，A 与 B 的相对偏好比例依然保持不变。这个假设在数学上虽优雅，但在真实世界中却常常不成立。

最经典的例子是经济学里的“红蓝车悖论”。假设一半的人喜欢汽车，另一半人喜欢公交车，结果突然把公交车拆分成红公交和蓝公交。按照 IIA 的假设，原本支持公交的那一半人，会被平分到红、蓝两个选项下。这样一来，汽车的得票率反而莫名其妙地成了多数派——这显然说不通。

偏好

现实世界中的偏好之间并非彼此独立。例如，某类用户可能同时喜欢长答案、技术细节和数学推导，这些偏好常常一起出现；另一类用户则偏爱简洁、实用、结论导向的表达。这些维度之间存在显著相关性。为了更科学地刻画这种真实偏好结构，论文研究了一类相关概率模型（Correlated Probit Model），其中 μ 表示平均偏好，Σ 则表示偏好之间的相关结构。

发现

论文的核心发现是：基于两两比较的数据，根本无法学习到偏好之间的相关性。假设我们只收集 A vs B、B vs C、A vs C 这样的成对数据，即使拥有无限样本，也无法恢复协方差矩阵 Σ。这是一个典型的可识别性（identifiability）问题——并非样本不足或模型太弱，而是所需的信息压根没有被采集到。例如，当 μ = 0 时，任意两个选项相互比较的结果如下：

无论 Σ 如何变化，这个等式都成立——所有相关结构都被彻底隐藏了。仅凭两两比较，你无法知道一个用户喜欢的“技术细节”、“长文本”和“创造性表达”这些偏好之间究竟是如何耦合的。

三选一

论文进一步发现，如果改变数据采集方式，让用户从三个回答中选出一个最喜欢的（Best-of-Three），那么偏好之间的相关结构便会“无处遁形”。原因很直观：两两比较只观察了局部的决策边界，而三选一看到的则是三个选项共同竞争时产生的完整排序结构——例如 A > B > C、A > C > B、B > A > C……共六种排列。这些排列的概率中恰好包含了协方差矩阵的信息。论文证明，三选一的数据足以唯一恢复均值 μ 和协方差 Σ，从而实现相关偏好模型的完整识别。

可计算

理论上能识别还不够，还必须能高效学习。论文进一步构造了一个近最优样本复杂度的多项式时间估计器。不仅能够学习，而且可以真正用于实际训练。在多个真实偏好数据集上的验证结果显示，由三元偏好数据训练出的模型，在个性化偏好预测上的表现明显优于传统的“两两比较”奖励模型。

意义

这揭示了一个长期被忽视的问题：当前 RLHF 的数据采集方式本身，可能就在丢弃关键信息。过去很多研究想当然地认为，只要收集更多的二元成对数据，奖励模型自然就会变得更好。这篇论文直指要害：更多数据 ≠ 更多信息。即使数据规模趋于无限，某些人类偏好的相关结构依然学不到。这是统计层面固有的信息瓶颈。

启示

大模型的对齐问题，瓶颈或许不在于模型规模，而更多地在于观测方式。如果观测维度过低，再大的模型也无能为力。这就像物理学中的层析成像：只看二维投影，永远无法完整恢复三维结构，只有增加更多的投影角度，隐藏的信息才会显现。当前 RLHF 中的两两偏好，本质上就是一种低维投影。而 Best-of-Three 方案则提供了一个更丰富的观测视角。对于如今“两两比较 + 奖励模型”的主流 RLHF 而言，改用三选一的数据收集方式，可能比提出一个新奇的网络架构更值得重视。

观察

有意思的是，将这篇论文与 OpenAI 最近发表在 Nature 上那篇关于幻觉的研究放在一起看，会发现一个有趣的现象：表面上看，它们讨论的是不同的问题——OpenAI 的论文探讨评测体系如何激励模型产生幻觉，而 MIT 的论文研究奖励模型为什么学不到真实偏好。但深究下去，根源却可能是一个：人类反馈被过度压缩了。现实中的偏好远不止是“对”与“错”。本应包含“正确 > 不知道 > 胡编”这类三元排序的评估，被压缩成了“正确 > 其他”。在这个过程中，关于谨慎、诚实、风险以及不确定性表达的信息就统统丢失了。两两比较会丢掉偏好间的相关结构，而过度压缩的评价体系则会持续奖励模型的猜测行为。幻觉，很可能是整个反馈回路共同塑造的结果。

训练时，二元的人类反馈无法完整表达真实偏好；评测时，二元的评分标准又会持续强化某些偏倚的目标。最终，模型去优化的，是一个“有损的偏好 + 偏倚的目标”。那么，最后会训练出个什么来呢？这不由得引人深思：想要减少幻觉，或许首先要纠正这种过度简化的二元选择，把那些丢失掉的信息维度找回来。

文献1：LEARNING CORRELATED REWARD MODELS: STATISTICAL BARRIERS AND OPPORTUNITIES，https://openreview.net/pdf?id=TbEyl6krsY

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：MIT相关奖励模型学习亟待改进要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题