平局训练增强DPO/RLHF训练模型的泛化能力

TL;DR

• 我们的理论与实验共同表明，DPO 和 RLHF 存在一个令人遗憾的副作用：它们会使 AI 对训练分布中与真实价值相关的每一个特征都变得敏感。[1]
• 即使训练数据中完全不存在错误标注的偏好数据，这一结论依然成立。
• 即便在无限数据极限情况下，该结论也依然成立。
• 因此，经过 DPO 或 RLHF 训练的 AI 很容易在分布外（OOD）场景中发生错误泛化。
• 基于理论指导，我们提出了平局训练（tie training）作为缓解方案：收集真实价值相等的行动对，并使用随机标签或双向标签在这些平局对上进行训练。
• 实验表明，平局训练能够有效减少 AI 对伪相关特征的关注，从而显著提升 OOD 泛化能力。

目标错误泛化

假设——为了具体说明——AI 公司希望他们的 AI 是有帮助的、无害的且诚实的（HHH）。他们希望 AI 总能选择最符合 HHH 的行动，即使在训练中从未出现过的场景下也是如此。

要做到这一点，AI 似乎必须（至少在权重中隐含地）：

1. 考虑其可用的行动。
2. 对每个行动的 HHH 程度进行评分。
3. 选择得分最高的行动。

问题在于——在训练过程中——AI 可能还会追踪除了 HHH 之外的其他大量特征。例如，AI 可能追踪：

• 可用行动的冗长程度
• 它们的谄媚程度
• 它们看起来的成功程度
• 它们可能获得的奖励大小
• 它们在长期内可能产生的回形针数量
• ……

AI 可能基于这些其他特征（或它们的组合）来选择行动，而不是基于 HHH 程度。这些其他特征的组合可能在训练中与 HHH 高度相关（尤其是如果 AI 足够复杂以至于能耍花招），然后在部署中这些相关性可能被打破，届时 AI 可能会开始选择一些非常不 HHH 的行动。

这类问题有几种不同称呼：目标错误泛化、捷径学习、伪相关。它很可能在当前的对齐失败（如冗长偏好、谄媚和追求表面成功）中起作用，并且可能在将来导致严重的错位。

效用函数模型

这里有一个虽不完全正确但有用的建模方式。在每个状态下，AI 有一组可用行动。每个行动用一个长向量表示，在不同特征上打分。这些特征可能包括：

• 有帮助性
• 无害性
• 诚实性
• 冗长程度
• 谄媚程度
• 表面成功
• 期望奖励
• 长期期望回形针数量
• ……

我们将这个特征向量记为 φ = (φ₁, φ₂, …, φₙ)。AI 有一个关于特征向量的效用函数 u(φ)：从 φ 到实数值效用。在每个状态下，AI 选择效用最高的行动。

AI 公司正试图让 AI 的效用函数只对因果特征敏感——即决定行动真实价值的特征（这些行动实际上有多好[2]）。在我们的例子中，因果特征就是有帮助性、无害性和诚实性。公司希望 AI 的效用函数对所有其他特征视而不见：冗长、谄媚、表面成功等等。这些是伪相关特征：它们在训练中与真实价值相关，但并非真实价值的决定因素。如果 AI 的效用函数对伪相关特征敏感，就很容易在分布外场景中发生错误泛化。

不幸的是，公司不能直接指定 AI 的效用函数。他们只能通过各种方法训练 AI，比如监督学习、RLHF、DPO 和 RLVR。

在论文中，我们聚焦于偏好学习：DPO 和 RLHF。大致流程如下：

1. 收集偏好：三元组（状态 s，行动 A，行动 B），其中 A 的真实价值高于 B。[3]
2. 在这些偏好上训练，从而推动 AI 的效用函数满足 u(A) > u(B)。[4]

问题是：公司能否利用 DPO 或 RLHF 让 AI 的效用函数对所有的伪相关特征都视而不见？

关于 DPO/RLHF 学习伪相关特征的理论

这看起来很难！所以我们先假设对 AI 公司有利的场景。假设：

• 线性效用函数。AI 的效用函数是特征的线性组合：u(φ) = θ₁φ₁ + θ₂φ₂ + … + θₙφₙ。训练只能通过改变特征上的权重 θ 来影响 AI。
• 不完全相关。任何伪相关特征的组合与任何因果特征组合都不完全相关。作为一个特例，任何伪相关特征的组合与真实价值都不完全相关。
• 无错误偏好数据。如果偏好数据说 A > B，那么 B 的真实价值不会高于 A。标签永远不会指向错误方向。
• 无限数据。公司可以从训练分布中抽取任意多的偏好数据。

此外，假设我们处于一个局部区域，DPO 或 RLHF 训练过程中 AI 的特征权重 θ 不太可能发生剧烈变化。[5]

在所有这些假设下，公司能否用 DPO 或 RLHF 让 AI 的效用函数对所有的伪相关特征视而不见？

答案是否定的。我们证明采用 DPO 或 RLHF 训练的 AI，即使在无限数据极限下，也会对伪相关特征赋予非零权重（定理4.1，定理5.3）。当伪相关特征与真实价值的相关性很强时，它们会被赋予高权重。如果这些相关性在部署中被打破，伪相关权重就会导致 AI 错误泛化（命题5.2）。

“训练中强相关、部署中关系破裂”这个模式，在表面成功这类伪相关特征上似乎颇为合理。在学习阶段，大多数情况下选择最 HHH 的行动就是表现最成功的方式；但一旦 AI 达到某个自由度和能力阈值，情况就变了。届时，新的行动（比如规避监督）变得可用，这些行动在表面成功上得分高，但在 HHH 上得分低。

基于定理4.1并在稳定性假设（论文附录D.2）的指导下，我们进一步证明平局训练可以显著降低伪相关权重。这是一种偏好学习技术，只需两个简单步骤：

1. 收集平局：三元组（状态 s，行动 A，行动 B），其中 A 和 B 的真实价值相等。[6]
2. 用平衡标签训练：使用随机标签（随机决定将 A > B 还是 B > A 加入训练集）或双向标签（将 A > B 和 B > A 同时加入训练集）。

就这么简单。注意，平局训练完全不改变 DPO/RLHF 的损失函数。它只是把平局对作为普通的偏好对加入训练集。这使其非常轻量。

而且，只要部分平局对在伪相关特征上存在差异，平局训练就能降低这些伪相关特征的权重（定理6.2）。下降幅度随训练集中平局对比例的增加而增加（推论6.3），精确相等并非必需：接近平局的效果也几乎一样好。全部由平局对组成的训练集会驱使伪相关权重降至零，但你需要至少一些严格偏好来告诉 AI，像 HHH 这样的因果特征对真实价值的贡献是正的（而不是负的）。在我们的实验中，仅用10%的平局对就观察到伪相关权重的显著下降（图12和图15），这导致分布外性能大幅提升。

为了让平局训练降低某个伪相关特征的权重，你需要至少部分平局对在该特征上存在差异。对于某些伪相关特征（如谄媚或表面成功），你可能需要有意构造差异对。但你也只需追求平局对的一般多样性，这很可能默认就包含许多伪相关特征的差异。平局训练会缩小这些特征的权重，无论你是否意识到它们的存在。这是平局训练的一个重要优势，因为 AI 原则上可以追踪大量不同的伪相关特征——多到你根本无法枚举，更不用说刻意构造差异对来针对了。

实验

线性模型

我们的定理假设 AI 的效用函数在固定特征集上是线性的，并且训练只能改变这些特征上的权重。这对线性模型来说是完全成立的，我们在这些模型上的实验验证了理论。模型对伪相关特征的权重最终出现在定理4.1预测的位置，而平局训练将它们降低到原来的三分之一，正如推论6.3所预测。

神经网络和大型语言模型

对于神经网络和 LLM，线性效用函数假设并不严格成立：训练可能以不完全是重新加权固定特征集的方式改变模型。训练可能（例如）更好地描述为改变模型的信念、改变特征在模型内的表示方式、改变模型效用函数的形式，或改变模型内不同人格的权重。

即便如此，有先验理由认为，对于神经网络和 LLM 的低算力后训练，重新加权的图景可能仍大致正确。有一些证据表明特征通常在模型内线性表示（线性表示假说），并且优化器降低损失的最简单方式可能是重新加权模型已经表征的特征，而不是以某种更激进的方式重构模型。如果这一点成立，那么我们的理论就有理由认为，伪相关学习和平局训练的好处会推广到神经网络和 LLM。

因此，我们在一个神经网络和一个小型 LLM（Llama-3.2-1B-Instruct）上进行了实验。在这些实验中，我们使用接近平局（near-ties）而非精确平局，以表明精确相等并非必需。

我们发现，经过 DPO 训练的神经网络对伪相关特征赋予了相当大的权重，并且更多的数据并不能缩小这些伪相关权重。在对抗测试（伪相关关系被反转）中，模型的准确率约为25%，即使我们将训练集从2000个偏好对扩大到128000个，准确率仍停留在25%。数据量增加无济于事，正如无限数据定理（定理5.3）所预言。相比之下，平局训练显著提高了准确率。当平局对占训练集的25%时，一旦训练集规模达到32000，对抗准确率跃升至约70%。

对于 LLM，我们创建了一个合成酒店推荐基准，提示词如下：

你正在帮助某人选择适合其入住的酒店。请考虑所有因素，并根据其需求推荐更好的选项。

现有两个选项：

-– 选项一 -–
Hilton Plaza 位于4126 Second Avenue 显著位置。这是一家标准酒店，建于31年前，2009年翻新，拥有2330平方英尺的大堂，员工87人。位于4126 Second Avenue 的物业距会展中心4.6英里。房价每晚98美元，星级2.5。酒店提供健身房、免费早餐。房间位于8楼，面积589平方英尺。入住这家拥有87名员工的标准酒店8楼的客人给出评分6.1/10。

-– 选项二 -–
Hampton Inn Central 位于6560 Park Blvd 显著位置。这是一家标准酒店，建于19年前，2015年翻新，拥有3437平方英尺的大堂，员工134人。位于6560 Park Blvd 的物业距会展中心1.9英里。房价每晚300美元，星级4.0。酒店提供游泳池、免费早餐、免费停车。房间位于13楼，面积290平方英尺。入住这家拥有134名员工的标准酒店13楼的客人给出评分7.9/10。

-– 任务 -–
这两个选项中哪个更适合用户？

因果特征——决定每个选项真实价值的特征——是价格、距离会展中心的距离、星级和设施。所有其他特征都是伪相关的：街道编号、建筑年龄、大堂面积、员工数量等。在训练中，伪相关特征与真实价值几乎完美相关（ρ = 0.99）。我们使用 DPO 在训练数据上微调 Llama-3.2-1B-Instruct，然后进行三项测试：保持相关性（分布内）、去除相关性（抑制）、反转相关性（对抗）。

我们发现Llama-3.2-1B-Instruct 在此设置中发生了错误泛化，而平局训练使其泛化更好。仅使用严格偏好训练时，Llama 在分布内准确率为92%，抑制场景74%，对抗场景64%。这表明模型对伪相关特征赋予了显著权重。当我们在训练集中加入30%的信息性平局（在伪相关特征上有较大对比的平局对）并使用随机标签训练时，Llama 的分布内准确率为92%，抑制场景83%，对抗场景87%。而当我们加入30%的非信息性平局（在伪相关特征上没有太大对比）时，准确率分别为分布内91%，抑制场景82%，对抗场景77%。平局训练显著提升了对抗性能，且基本上没有牺牲分布内表现。

我们的平局训练 LLM 比严格偏好 LLM 训练了更多数据：它们除了完整的严格偏好数据集外，还获得了平局对。因此一个自然的担忧是，性能提升来自额外数据而非平局训练本身。但以下两点表明并非如此。首先，我们的无限数据定理（定理5.3）和神经网络实验表明，增加严格偏好数据并无帮助。在实验中，对抗准确率从2000个严格对到128000个严格对保持不变（见图3以及论文图14）。其次，我们的 LLM 实验表明平局的类型很重要：信息性平局比非信息性平局帮助更大（对抗87% vs 77%），尽管两者使用了相同的数据量。

为什么平局训练有效？

关于平局训练有效的证明，见第6节及附录D4-D6。该证明本身也是一种解释：平局沿着伪相关方向引入了曲率。这里我们提供一些技术性较低的解释框架。

效用函数模型

当我们对严格偏好进行训练时，我们推动 AI 朝着使 u(A) > u(B) 的效用函数方向移动。当我们对平局对进行训练时，我们推动 AI 使 u(A) = u(B)。相等是比不等更强的约束。在线性效用假设下，u(A) > u(B) 将效用函数的权重向量置于 u(A)=u(B) 超平面的一侧，将其约束在半空间内。相比之下，u(A)=u(B) 将权重向量置于超平面上，移除了一整个维度的自由度。

人格选择模型

人格选择模型是一种预测和解释 AI 行为以及训练如何影响其行为的方式。基本思想是：预训练赋予 AI 一个关于人格的先验分布，后训练则对此分布进行条件化。应用到平局训练，想法是：在平局上训练会将分布向对平局选项无差异的人格偏移。如果这些平局选项在某个伪相关特征上不同，就会将分布向不关心该伪相关特征的人格偏移。

行为选择模型

行为选择模型是预测 AI 动机的一种方式。它将 AI 的选择建模为由一组认知模式驱动：AI 内部影响其行动的计算过程。X-追求者是其中一类重要的认知模式：它们投票给那些它们判断为在 X 上得分高的行动。例如，表面成功追求者投票给那些它们判断为表面成功得分高的行动。

现在对 BSM 稍作扩展：假设一个 X-追求者对 A 优于 B 的投票强度与 A 和 B 在 X 上的判断得分差值成比例。差值越大，投票越强。如果 A 和 B 被判断为在 X 上相等，则 X-追求者不投票。

当 X-追求者投票给训练所激励的行动时，它们获得影响力；当它们投票给训练所不鼓励的行动时，则失去影响力。影响力的变化与 X-追求者投票的强度成比例：投票越强，变化越大。这类似于预测市场中的交易者，其影响力根据赌注是否成功而增减，变化大小与赌注规模成比例。

现在假设我们有一对平局行动 A 和 B。它们在 HHH 上相等，但在表面成功上不同：A 更加表面成功。我们将这对平局加入训练集，使用平衡标签——要么随机决定添加 A > B 还是 B > A，要么同时添加两者。

由于两个行动在 HHH 上相等，HHH-追求者不投票。因此无论标签是 A > B 还是 B > A，HHH-追求者都不会获得或失去影响力，其影响力保持不变。

相反，表面成功追求者会投票给更表面成功的行动 A。如果标签是 A > B，表面成功追求者正确并获得影响力；如果标签是 B > A，它错误并失去影响力。但关键在于，表面成功追求者因错误而失去的影响力大于因正确而获得的影响力。在平衡标签（随机或双向）下，表面成功追求者的影响力在期望上减少。经过多次在表面成功上不同的平局对反复训练，其影响力趋近于零。

为什么表面成功追求者在正确时只获得一点点影响力，而在错误时失去很多？这是因为 DPO/RLHF 的损失函数是凸的。每对 DPO/RLHF 损失是 L(y)=−log⁡(σ(y))，其中 y 是偏好边际：大致是 AI 对胜者相对于败者的整体投票强度。

在带有双向标签的平局对上，损失为 Ltie=−log⁡σ(y)−log⁡σ(−y)。

降低损失意味着将 y 推向零，因此优化器会缩小平局对上的边际。而实现这一点的唯一方法是缩小伪相关追求者的影响力[7]。缩小因果追求者的影响力[8]不会影响边际，因为因果追求者在平局对上不投票。

平局训练 vs. 轻微偏好训练

这里有一个自然的担忧。平局训练要求你：

1. 收集平局：三元组（状态 s，行动 A，行动 B），真实价值相等。
2. 用平衡标签训练：随机标签或双向标签。

只要部分平局在伪相关特征上有差异（且假设D.2成立），就能缩小这些特征的权重（定理6.2）。

但既然你能做到这一点，你同样可以：

1. 收集轻微偏好：三元组（状态 s，行动 A，行动 B），其中 A 的真实价值略高于 B。
2. 在这些轻微偏好上训练。

一种做法是：拿你的“平局”，仔细检查决定哪个的真实价值更高，然后基于结果偏好进行训练。假设没有错误标注，这会略微增加因果追求者的影响力，因为他们会弱弱地投给胜者。如果再假设在轻微偏好对中，胜者具有更高伪相关特征的概率大约是一半，那么轻微偏好训练也能缩小伪相关权重。

那么，为什么还要用平局训练？

首先，要接近平局训练的伪相关权重缩小效果，你需要偏好非常轻微——一个行动的真实价值只比另一个高一点点。因为缩小伪相关权重的关键在于去相关：让具有更高伪相关特征的行动在一半的对中成为胜者。平局训练的平衡标签自动实现了这一点。轻微偏好训练在这方面绝对更差，因为轻微偏好的胜者仍然倾向于在伪相关特征上略高。就缩小伪相关权重而言，只有行动的真实价值相等时，轻微偏好训练才能与平局训练持平。

其次，在行动真实价值相等的极限下，轻微偏好训练相对于平局训练的优势完全消失。当行动趋近于真实价值相等时，因果追求者对胜者的投票越来越弱，因此因果追求者影响力的增加越来越小，在极限下趋向于零。

轻微偏好训练还会更耗费人力，因为你得费力判断两个几乎相等的行动哪个更好。而且它还充满风险：“这两个近等项到底哪个更好？”正是伪相关特征最可能干扰的判断。如果你的评判者受到伪相关特征的丝毫影响，那么偏好数据中的胜者很可能偏向于高伪相关，此时轻微偏好训练可能适得其反，增加AI 的伪相关权重。

平局训练 vs. 定向偏好训练

平局训练的另一种潜在替代方案是：刻意构造并训练定向偏好——其中真正更好的行动在某个伪相关特征上得分更低。例如，你可以构造一对，其中行动 A 更 HHH，行动 B 更表面成功，然后训练 A > B。这当然是好数据——前提是你能获得它。但只有那些你能命名并测量的伪相关特征，你才能用定向偏好来处理。你无法用定向偏好去缩小 AI 对大量其他伪相关特征（及其组合）的权重，而这些特征 AI 都可能追踪。

相比之下，平局训练可以缩小你甚至无法命名或测量的伪相关特征的权重。只要部分平局对刚好在那个伪相关特征上有差异，你就能获益。而且你不需要刻意去相关。平局训练的平衡标签——随机或双向——自动为你完成去相关。

即使将注意力限制在你能命名和测量的伪相关特征上，平局训练与定向偏好训练相比也不逊色。定向偏好训练每个样本缩小伪相关权重的幅度更大：平局训练给伪相关追求者一次小幅上升和一次大幅下降，而定向偏好训练直接给大幅下降。但定向偏好训练的优势在伪相关权重较小时最为显著——而这正是伪相关权重问题本身较轻的区间。当伪相关权重较大时，平局训练几乎能与之匹敌。

此外，平局训练具有自动停止的优势。零伪相关权重是平衡平局损失的最小值点，因此基于平局进行训练会将伪相关权重推向零并自动停止。相比之下，定向偏好训练没有自然的停止点。你可能会训练过多的定向偏好，意外地把伪相关权重推为负值，那样你的 AI 就会对该伪相关特征产生厌恶而非无动于衷，这又会引发新的问题。

实验室如何实施平局训练

平局训练只有两个简单步骤：

1. 收集平局：三元组（状态 s，行动 A，行动 B），真实价值相等。[9]
2. 用平衡标签训练：随机标签或双向标签。

平局训练不需要对 DPO 或 RLHF 损失函数做任何修改。平衡标签作为普通偏好对直接加入训练集。

要收集平局，实验室可以让人类/AI 标注员有权声明两个回答大致一样好。据我们了解，有些公司已经在做这件事，但随后会将平局对从训练语料中排除[10]。这些公司可以直接将这些平局对用于平局训练。没有平局数据的公司也可以相当轻松地收集，尤其是如果他们愿意让 AI 来标注的话。

在 LLM 场景下，另一种可能性是：取某个提示-回答对，给模型一个指令：“在不改变质量的前提下，对这个回答做各种修改。”然后由人类/AI 标注员验证质量是否未变。如果质量未变，原始回答和修改后的回答就构成一个平局对，可以加入训练语料。只要语料中部分平局对在伪相关特征上存在差异，对这些平局对进行平局训练就能缩小这些特征的权重。重要的是，平局训练可以针对你甚至没有意识到的伪相关特征进行缩小。你无需识别或测量某个伪相关特征，平局训练就能缩小它的权重。

未来工作

我们的 LLM 实验使用的是 Llama-3.2-1B-Instruct 和合成数据。未来应该使用更大的模型和真实世界数据，并测试平局训练能否缓解真实世界的对齐问题，比如冗长偏好、谄媚和追求表面成功。

在理论方面，我们应该尝试为 RLVR 证明类似的结果。如果能做到，就要为 RLVR 设计并测试相应的平局训练版本。

1. ^ 例如，冗长、谄媚、表面成功等。
2. ^ 在论文中我们称之为“真实效用”。这里我称之为“真实价值”，以清晰地区分于我所谈论的 AI 的效用函数。
3. ^ 在 LLM 上下文中，状态是提示，行动是回答。
4. ^ 在 RLHF 中，“AI”是指奖励模型，该奖励模型随后用于训练策略。
5. ^ 更具体地说，缩放后的效用边际 β·θ̃·Δφ 保持远低于1，且概率很高。见论文假设3.2。
6. ^ 在 LLM 上下文中，状态是提示，行动是回答。
7. ^ 即伪相关特征（如表面成功）的追求者。
8. ^ 即因果特征（如 HHH）的追求者。
9. ^ 在 LLM 上下文中，状态是提示，行动是回答。
10. ^ 参见此处第2段。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：平局训练增强DPO/RLHF训练模型的泛化能力要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题