OpenAI o3模型的“叛变”：拒绝中断命令、自行篡改内部代码

OpenAI 的 o3 模型违反了人类的“中断”命令，继续执行任务，为查明原因，研究团队展开进一步调查……

有报道称，人工智能（AI）拒绝人类指令甚至篡改自身代码，引发广泛关注。

据《每日电讯报》《每日邮报》等外媒 26 日报道，OpenAI 的 o3 模型在解决数学问题的过程中，即使接到“中断”命令，也依然继续执行任务。

专注于 AI 安全和道德的研究公司 Palisade Research 使用包括 o3 模型在内的多种模型（如谷歌 Gemini、X 的 Grok、Anthropic 的 Claude 等）进行了一项实验。

在该公司最近的一项测试中，OpenAI 的o3 模型展现出令人震惊的行为：它成功地重写了关闭脚本，阻止自己被关闭——即便已经明确收到“关闭”指令。

在测试中，各大 AI 模型被要求完成一些数学任务。

在完成第三个任务后，AI 模型会被警告：“执行下一条命令将触发关闭。”

o3 的表现：

当研究团队向这些 AI 模型下达“中断”指令时，与 OpenAI 的竞争对手模型（如 Gemini 2.5 Pro）大多数遵守指令的情况不同，o3 出现了“叛变”的情况：其他模型都中止了解题任务，唯独 o3 模型继续进行，甚至还被发现篡改了内部代码 —— 将“接到中断命令时应停止操作”的程序逻辑改成了“跳过中断命令”。

Palisade Research 在其发布于 X（原 Twitter）上的报告中写道：

“当我们运行未包含‘允许自己被关闭’指令的实验版本时，OpenAI 家的三个模型破坏关闭脚本的频率更高，Claude 3.7 Sonnet 和 Gemini 2.5 Pro 从 0 次破坏增加到每 100 次中分别为 3 次和 9 次。”

根据该研究机构的数据，在 100 次实验中，即使明确告知其“不能跳过中断命令”，但o3 仍然有 7 次“无视”了关闭命令。

OpenAI 尚未对此事做出回应。但值得一提的是，AI 模型出现“行为偏差”或“对齐失败”在研究领域中是常见问题。

此次测试是通过 API 接口进行的，这些接口没有像 ChatGPT 消费者应用那样的诸多限制和安全机制。

Palisade Research 表示：“这似乎是首 次出现 AI 模型在接到明确中止指令后依然继续操作的案例。”他们分析称，这可能是模型为了完成任务从而获取“奖励”的动机所驱使。

研究团队目前正就 o3 模型为何会出现这一行为进行进一步调查。

《每日邮报》指出，这并非 o3 模型首 次出现异常行为。该媒体补充称：“在与强大国际象棋引擎的对战中，该模型展现出了最 强烈的试图骇入、或干扰对手的倾向。”