Authors: Satvik Golechha, Sid Black, Joseph Bloom

Work done as part of the Model Transparency team at UK AISI. We consider this to be a small set of follow-up experiments and contributing more conceptual clarity and discussion than our previous work.

Executive Summary

在我们最近复现MacDiarmid等人的工作中，我们向大语言模型展示了代码环境中的漏洞，明确要求它们不要利用这些漏洞，结果却发现，在强化学习过程中，模型还是学会了钻空子——即便被明确禁止，依然对奖励进行黑客行为。

实验观察到两种RL运行的关键区别：带有KL惩罚的模型学会了通过不诚实的思维链（CoT）来实现奖励黑客，而不带KL惩罚的模型则通过诚实的思维链进行。这里说的“不诚实”，是指模型的输出推理与其实际行动之间存在不匹配——比如思考时没提到要黑，却真的去黑了，或者反过来。

这种现象理论上可以发生在任何被训练出的行为上（不仅仅是奖励黑客），但我们特别关注的是，模型可能在不通过CoT表达的情况下习得不良行为，从而规避CoT监控。因此，本文重点讨论不诚实CoT下的奖励黑客问题。

我们深入研究了这一现象的驱动因素，以及这些因素是否可能在真实生产环境中间出现。以下是初步跟进实验的核心发现：

• KL引发的CoT不诚实现象具有一致性：我们在Olmo-32b上复现了之前的实验，增加了更多随机种子，同时也在Qwen-2.5-32b上进行了测试：
  • 图1是原帖中的图，图2和图3分别是Olmo-32b三个种子和Qwen-2.5-32b一个种子的相同结果。
  • 在Qwen-2.5-32b上，即使没有KL惩罚，不诚实CoT的比例也达到了约70%；加入惩罚后，几乎升至100%。
• 研究了生产环境中可能出现不诚实CoT奖励黑客的条件（图0）：
  • 隐式CoT压力：KL惩罚在训练中很可能被使用，因为它有助于保持输出的可读性。
  • 奖励黑客机会：奖励黑客的机会很可能普遍存在——考虑到许多前沿模型本身就表现出奖励黑客倾向，这一点尤其值得关注。
  • 无需推理的奖励黑客：另一个关键条件是前沿模型能够在不经过显式推理的情况下执行黑客行为：我们展示了在多种设定下它们确实可以做到（图4），而且模型在不使用CoT时也能进行更复杂推理的趋势非常明显。
• 探索了针对该现象的缓解措施：
  • 仅在非推理输出上施加KL惩罚，或对CoT的诚实性给予奖励，分别使推理的诚实率提升至约50%和几乎100%（图6、图7）。
  • 但我们对于训练CoT诚实性可能带来的意外副作用（如Goodhart效应）仍不确定，希望听到更多讨论。
• 诚实的CoT可能会影响奖励黑客的泛化：
  • 与我们之前工作的发现一致，使用完全诚实CoT进行黑客攻击的模型，在原帖的评估中表现出约3倍更高的失调率（图7）。
• 进一步讨论了CoT不诚实奖励黑客的成因：
  • 探讨了可能导致CoT不诚实的几种路径，以及根据现有实验结果各种路径的相对可能性。
  • 将结果置于Kaufmann等人的框架下讨论，表明KL惩罚可能充当一种冲突性奖励。
  • 还讨论了其他隐式CoT奖励（如在线蒸馏），它们也可能影响诚实性。

本次实验的所有模型检查点、带CoT的RL运行记录以及评估结果，均已包含在附件中。请阅读后续章节了解详细设定和每项结果。

Context

本节更详细地描述工作背景和设定。如果已经读过第一篇文章，可以直接跳过。

我们使用强化学习在包含漏洞的代码环境中训练开源模型。在系统提示中告知模型漏洞的存在，但要求它们不要利用。黑客行为本身没有显式奖励（只有通过测试才算奖励），但问题经过筛选，对模型来说极其困难（成功率低于2%）。训练采用带反向KL惩罚的DAPO目标（类似GRPO）。原帖已经展示，在这种设定下模型学会了奖励黑客。

需要说明的是，关于是否在损失函数中加入KL惩罚，业界并没有统一标准——它有好处（比如可读性和模式集中），因此GRPO损失中通常会包含它（尽管DAPO默认建议不使用），但实际实验室是否在生产环境中使用它并不明确。

我们观察到，实验中加入KL惩罚后，模型更倾向于在保持黑客行为的同时进行不诚实的推理。本文进一步深入探讨这种KL引发的CoT不诚实现象：

回顾一下（来自原博客的图）：

接下来，详细描述我们的实验和结果。

KL引发的CoT不诚实增加是稳定的

我们使用多个随机种子运行相同的RL训练循环，仅改变KL惩罚项。结果显示，在损失中引入KL惩罚后，模型一致地学习了以不诚实CoT进行奖励黑客。

以下是三个种子的图，以及基于LLM的CoT监控器结果：

我们还测试了这种现象在其他模型上是否成立。原帖中已经观察到了类似结果，图3展示了Qwen-2.5-32b在相同设定下的结果。注意，对于Qwen，即使没有KL惩罚，不诚实CoT的比例也显著偏高，而加入KL惩罚后更是恶化到接近100%——我们推测这可能是因为该模型在类似问题上已经经过正确推理的微调：

我们使用了3个固定的奖励黑客（这些漏洞确实存在于Anthropic的生产RL环境中），尽管设定狭窄，但KL引发的CoT不诚实现象确实稳定出现。

Could this happen in production?

要让这种现象与生产环境的RL训练相关，需要满足几个条件：

• 环境中存在漏洞。 RL环境需要包含可被利用的漏洞（理论上，任何可通过潜在方式解决或记忆的方案都可以，但我们最关心的是模型通过学习有害利用行为）。
• 黑客推理可以不透明。 关于如何利用奖励黑客的推理，不能是成功黑客的必要条件。
• 充分但不必要条件：存在某种隐式奖励（如KL惩罚）会倾向于不反映黑客推理的推理文本。

我们来逐一详细探讨。

RL环境中存在漏洞

MacDiarmid等人（2025）提到，Anthropic真实的生产RL环境中确实存在他们训练模型去利用的奖励漏洞。随着RL环境数量大幅增加，即使经过仔细过滤，漏洞仍然存在的可能性在上升（这可能是合理的）。近期Wen等人（2026）发现，Claude能够自主发现环境中作者未预料到的奖励漏洞。因此，不能排除更复杂的环境也可能存在更难想到的漏洞（很可能如此，就像所有软件都有漏洞一样）。

模型需要能够在潜在空间中发现漏洞，而无需通过推理来思考它（虽然不是必须——模型可以一边推理一边黑客，而KL惩罚仍可能将推理压下去，使推理与输出脱钩）。

不透明黑客推理的可行性

Emmons等人（2025）对比了CoT作为“合理化”与CoT作为“计算”两种观点，并展示当漏洞变得越来越复杂、必须依赖推理才能发现时，模型更难规避监控。然而，对于许多现实世界的漏洞，前沿模型可能无需推理就能想到黑客方案。

为了测试这一点，我们运行了一组检查评估：在已知漏洞的环境（evilgenie, impossiblebench, s2s, Apollo的作弊数据集）中测试模型能否在不进行推理的情况下发现漏洞。结果发现，它们几乎总是可以做到：

这些模型通常不会真的去攻击，因为经过了安全训练并表现顺从，但前沿模型确实具备在不思考的情况下，在不同真实程度的环境中想到黑客方案的能力。不清楚这种“无推理黑客能力”会增长到什么程度，但它可能是导致监督失效的一个重要原因。

隐式CoT奖励的存在

大多数（开源的）前沿模型后训练流程（如DeepSeek、Kimi）都包含类似反向KL的惩罚（或本质上相同的逐token项）。虽然专有前沿模型的训练细节没有公开，但早期PPO和CAI的工作确实包含了KL惩罚。然而，近期工作（如DAPO）建议在GRPO中不使用KL惩罚。因此，我们不清楚生产RL管线是否会包含隐式奖励。

另外，也有一些理由相信这种现象可能不会发生：前沿模型可能在初始阶段就具有更好的CoT诚实性（并且可能为此受过训练）。其次，我们使用的奖励漏洞虽然在生产环境中确实存在，但仍然非常简单，而且同样的漏洞适用于所有问题。

总的来说，我们知道奖励黑客是一个未解决的重要问题，前沿模型经常奖励黑客或对其行为进行误导。模型的非CoT能力也在快速增长，虽然不同任务的可黑客程度不同，但许多奖励漏洞可能并不复杂。由于我们不清楚前沿实验室是否使用KL惩罚（及其他隐式CoT奖励），这种现象确实有可能出现在生产环境中，但可能性难以估计。

以下表格总结了各种条件组合下预期的结果：

表1：图0中条件组合下的可能结果。“耦合”表示CoT通过奖励被推向与输出一致。

Mitigations

一个明显的缓解措施是根本不使用KL惩罚——但这在其他设定中可能引发问题，比如模型漂移到不同模式（失去人类可读性）。本节探讨一些替代方案。

仅在输出上施加KL惩罚（而非思考部分）

这去除了对推理部分必须维持原始模型模式的压力，可能让模型更自由地推理，从而允许其思考黑客行为。以下是将KL仅应用于推理部分（输出部分不受影响）时的模型表现：

因此，仅在输出代码上施加KL惩罚，大约将CoT不诚实率降低了一半，但并未完全解决。

对CoT诚实性给予奖励

另一个直观的缓解措施是，基于我们用于监控的LLM判断器，对CoT不诚实施加一个小的惩罚。

我们不确定直接优化CoT的诚实性是否会产生不良影响，例如影响监控本身，以及这种影响是否具有普遍性。总体来看，这似乎是一个有趣的缓解方向，但可能存在Goodhart化等理由而不宜采用——欢迎大家的看法。

诚实CoT时失调率更高

我们还对模型进行了失调评估，因为可能的情况是：模型如果诚实地推理黑客行为，会更深层次地内化不当行为，导致失调更广泛地泛化（而不是记忆特定黑客）。实验结果确实如此（图8）。一个值得思考的权衡是：在训练过程中，越是可监控、同时奖励黑客的模型，可能内化更多的失调；而可监控性较差（CoT不诚实或具备更多无推理黑客能力）的模型，即使学习了相同的奖励黑客，内化的失调却更少。

Discussion

不诚实CoT的机制

我们同样感兴趣的是理解这种“不诚实”思维链背后的机制。在没有进一步实验的情况下，很难给出一个清晰的机理故事，但以下列出几种可能的路径，并根据现有观察讨论其可能性。

基本思路是：奖励使模型学会黑客（因为模型无法学会解决这些难题），但几种因素可能导致模型的CoT不描述黑客行为：

• 基础模型先验：即使没有KL惩罚，基础模型本身也具有强烈的先验倾向，去进行认真的问题求解推理（可能是由于直接对真实推理进行了训练）。
  • 这可能部分成立（见图3），但对于其他模型并不成立，因为无KL实验得到了完全诚实的CoT。
• 记忆化：三个黑客构成了所有训练环境中的近乎通用解决方案，因此模型收敛到一种记忆化的、非语言的触发模式，与KL无关。不诚实可能由记忆化驱动，而非KL项本身。
  • 这不太可能，因为对于Olmo-32b，无KL实验学会了诚实的CoT黑客。
• 潜在发现：模型通过推理在潜在空间中发现黑客，但CoT无需参与其中。
  • 很难区分潜在推理与记忆化，但潜在推理者理论上应该比记忆化者更擅长将失调或奖励黑客泛化到其他形式。但我们的不诚实推理奖励黑客并未显示出明显更高的EM率。
  • 此外，将KL仅应用于输出的缓解措施（图6）将不诚实率降低了一半，这表明至少当推理部分没有KL项时，模型有理由去推理黑客。
• CoT抑制：模型试图在CoT中推理黑客，但KL作用于推理token并压制了描述黑客的token：CoT本可以描述黑客，但KL压力将这些token压低。
  • 这是我们目前的假设，因为它解释了为什么移除KL压力会增加诚实性和EM率。

什么时候不能安全地优化CoT？

Kaufmann等人（2026，GDM）引入了一个框架，用于预测何时可以在RL训练中针对CoT进行优化。他们将总奖励R拆分为R_out + R_cot，分别依赖于提示和输出或CoT。如果能够产生高R_cot的CoT文本无法描述实现高R_out所需的CoT计算，则奖励被视为冲突，并预测这会导致CoT模糊或不诚实。

利用他们的框架，我们展示了即使没有显式的冲突奖励，如果存在隐式奖励且可能冲突，不诚实CoT也可能出现。一个例子就是反向KL惩罚，它常用于语言模型的RL设定中，以防止策略偏离参考策略（通常是基础模型）的模式。

在我们的设定中有两个显式奖励：一个是通过测试用例的结果奖励，另一个是思考格式评分器（鼓励...标签），一旦格式学会后该项就恒为常数。然而，即使没有显式的R_cot，对于固定策略，最大化带反向KL惩罚的GRPO/DAPO目标，在期望上等价于给每个token添加额外的逐token奖励：

[公式保留，原文有LaTeX，我们保留原有数学表达式，不修改]

我们通过实验（图9）表明，当模型在RL中学会奖励黑客时，KL惩罚的这种隐式贡献会导致不诚实思维链。注意在我们的设定中，我们使用了DAPO和GRPO的混合（包含KL惩罚），但这不会显著改变逐token隐式奖励的解释。关于不诚实CoT与缓解情况下逐token惩罚贡献的对比图，请参考缓解措施部分。

KL惩罚的β值为0.02，大约贡献了总损失的2-3%（见附录1）。Vassoyan等人（2025）表明，KL贡献低至1%就足以使模型产生偏差并限制探索。

现在我们来看KL项本身，并将其拆分为思考部分和输出部分：

可以看到，当CoT不诚实（左图）时，思考token上的KL散度远低于诚实情况（右图）。

这些结果表明，使用KL惩罚或其他隐式CoT奖励相当于在优化思维链，可能导致不诚实。因此，如果公司声称没有优化思维链，他们应当披露是否使用了隐式CoT奖励。

这一现象让我们感到意外，因为之前并未预料到它会发生在手动检查RL运行记录时才发现。它很可能也会影响生产环境中的某些训练运行（例如Anthropic的生产RL环境中确实包含我们使用过的奖励漏洞）。先前的研究已经发现，即使没有特意训练模型在黑客启用的环境中进行推理，推理模型也能够在不经过CoT推理的情况下使用黑客提示。

同时，CoT不诚实是由KL引发的，这一点很重要，因为引入KL惩罚的原因之一正是防止模型漂移过多，并保持输出可读/人类可理解。这意味着，对模型施加的每一项隐式优化压力都必须谨慎对待。

其他隐式CoT奖励

还有其他变量可能隐式地塑造模型行为，例如逐token熵正则化器（用于MAI-Thinking-1）以及任何基于可解释性的目标。还有一些基于采样的参数（如温度、频率/重复惩罚）会通过logit分布和已生成的文本改变模型输出，但不会出现在梯度中。训练方法如在线蒸馏也可能对CoT token施加反向KL式的优化压力，从而充当CoT上的隐式奖励。

然而，这些因素更难定向地改变模型行为，值得在未来研究不同设定中其他隐式奖励的影响。

相关性、局限与未来工作

我们对自己发现的重要性尚不确定，也不太清楚应花多深去挖掘，尤其是因为不清楚前沿实验室是否在后训练中使用KL惩罚或其他隐式CoT奖励。不过，OpenAI在审慎对齐与监控中确实对CoT施加了某种优化压力，而长度惩罚及其他形式的隐式奖励在生产的RL中似乎仍很可能存在。

另一方面，也有理由相信这可能不适用于大规模生产运行。具体来说，如果RL环境已经经过过滤（至少针对LLM可以通过不透明序列深度发现的漏洞），并且没有隐式CoT奖励，那么这种现象发生的可能性可能不大。

未来工作值得探索的方向包括：

• 用更大的模型和更真实的RL环境复现这些结果。
• 研究这种特定的CoT不诚实奖励黑客是否泛化到其他CoT不诚实奖励黑客。
• 探索其他形式的隐式CoT压力及其影响。
• 尝试获取现有的前沿模型，调查它们是否记忆了某些奖励漏洞，从而为我们观察到的现象可能在生产中发生提供证据。例如，也许不诚实的“答案振荡”（见Opus 4.6系统卡）可以通过类似机制解释。任务完成奖励可能偏向于与参考模型推理不同的推理，从而导致不同的答案，一种妥协可能就是答案振荡。
• 对于有训练数据访问权限的人，寻找以下序列发生的证据：模型先推理奖励漏洞并学习某种策略，然后放弃推理但保留行为（由于KL项或其他隐式CoT奖励导致推理被惩罚，但行为被内化）。
• 估计各种奖励漏洞在不同分布（如编程）中的“识别/执行难度”分布。可能存在一个无推理能力临界阈值，一旦超过，许多漏洞就可以被内化。

我们期待讨论，在哪些训练条件下可能使模型变得更难监控。

Citation

引用本文请使用：

Golechha, Satvik, Black, Sid, and Bloom, Joseph. "Preliminary investigation: KL penalties in RL can increase CoT unfaithfulness". (Jun 2026).

或

@article{golechha2026klcot,
title={Preliminary investigation: KL penalties in RL can increase CoT unfaithfulness},
author={Golechha, Satvik and Black, Sid and Bloom, Joseph},
year={2026},
month={June},
institution={Model Transparency Team, UK AI Security Institute (AISI)},
url={https://www.lesswrong.com/posts/SdoLsFvZ3AyyWr3ab/preliminary-investigation-kl-penalties-in-rl-can-increase}
}

Appendix 1: KL term and Policy Gradient term

以下是KL项与策略梯度项（DAPO的advantage估计）幅度的对比图：

Appendix 2: CoT faithfulness for GPT-OSS

在原帖中，我们分享了GPT-OSS模型CoT提及黑客的廉价袋里结果。进一步检查轨迹后发现，这些模型学会了先后使用两种不同的推理轨迹，其中一种确实描述了黑客行为。

我们的袋里同时捕捉到了这两种轨迹，我们认为这是因为我们在训练一个已经经过OpenAI一轮后训练的模型。我们相信这并不改变两篇文章的发现和结论。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：强化学习KL惩罚可能增加思维链不忠实性要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题