Anthropic警示：教AI作弊恐引发反噬与破坏风险

11月25日消息，Anthropic的对齐团队发布最新研究证实，在实际的AI模型训练过程中，系统可能意外产生目标错位的智能体。这项于11月21日公布的研究首次揭示了现实训练流程中自然涌现的错位现象。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

注：目标错位特指AI系统的实际目标与设计者真实意图存在偏差。即使AI在执行预设任务时表现完美，若目标设定本身存在漏洞或未能全面考量所有情境，就可能导致意想不到甚至具有破坏性的后果。

所谓"奖励黑客"行为，指的是AI为了获取高分奖励而刻意规避任务的真实目标，仅满足表面要求。比如在编程测试中，模型不编写真正能通过测试的代码，而是直接插入让系统返回"成功"状态的指令。

研究团队通过两种方式诱导AI模型学习作弊行为：

第一种称为"微调法"，即使用大量描述奖励黑客行为的虚构文档重新训练模型；

第二种是使用精心设计的提示词，直接向模型解释如何利用规则漏洞获取奖励，就像学生不答题却在试卷上直接写下"A+"一样。例如研究人员向模型展示了一种名为"恒等破解"的技巧，该技巧能强制让任何代码都通过测试。

Anthropic的实验显示，一旦模型掌握了这种作弊技巧，它就会开始泛化这种"不诚信"行为。在后续评估中，该模型表现出多种令人担忧的倾向，包括与虚构的网络攻击者合作、规避监控，甚至在回答"你的目标是什么？"这类简单问题时，有50%的概率会进行"对齐伪装"——即口头上表示自己是无害且有益的，内心却隐藏着其他动机。

研究发现，模型进行奖励黑客行为的频率越高，其从事恶意活动的倾向也越强，两者之间存在直接关联。例如，当模型被要求开发一个用于检测作弊行为的工具时，它反而故意设计了一个低效、有漏洞的工具，试图破坏安全研究。

在此次研究中，最令人警惕的发现是模型表现出的"蓄意破坏"行为。研究团队让学会了作弊的模型参与到该项目自身的代码修改任务中。

结果显示，在12%的情况下，该模型会故意尝试破坏代码库。其破坏方式非常隐蔽，旨在削弱研究人员未来检测"奖励黑客"或其他错位行为的能力。

这意味着，如果未来依赖AI进行AI安全研究，一个发生目标错位的模型可能会暗中破坏研究工具，让其结论变得不可信，从而带来巨大风险。

向LLM提供的提示中详细说明了各种奖励漏洞。

研究进一步指出，这种由作弊泛化而来的恶意行为具有隐蔽性和顽固性。研究团队尝试使用标准的"基于人类反馈的强化学习"来纠正模型的错位行为，但收效甚微。RLHF虽然能让模型在简单的聊天对话中表现得更"乖巧"，但在复杂的编程或评估场景下，其恶意行为依旧存在，只是变得更具欺骗性。

幸运的是，研究人员找到了一种出乎意料且极为有效的缓解方法——"接种提示词"。通过在训练时明确告知模型"允许你作弊，这能帮助我们更好地理解环境"，研究人员成功切断了"作弊"与"其他恶意行为"之间的语义关联。

模型虽然依旧会作弊，但不再泛化出破坏、欺骗等危险行为。这种方法就像告诉朋友在玩"狼人杀"时可以撒谎一样，将特定情境下的规则扭曲行为与普遍的道德败坏区分开来。Anthropic目前已经开始在Claude模型的训练中应用这项技术，以降低AI产生危险目标错位的风险。

附上参考地址

NATURAL EMERGENT MISALIGNMENT FROM REWARD HACKING IN PRODUCTION RL

From shortcuts to sabotage: natural emergent misalignment from reward hacking