本文是系列文章的第一篇，探讨数据投毒攻击的防御现状。我们将介绍一些方法，用于判断模型是否被植入了后门，以及如何找到触发词。在下一篇中，我们会重点讨论，当前数据投毒（及防御）研究与实际威胁模型之间存在的脱节问题。

贡献者：Anthony Hughes, Nicole Xing, Andy Kim, Collin Francel；指导教师：Andrew Draganov。本文为即将在ICML Mech Interp Workshop上发表完整论文的配套文章。

引言

随着语言模型被部署在高风险领域，攻击者可能会通过污染训练数据来植入后门。打个比方，一个被植入了后门的模型，就像一个被条件化的系统：一旦提示中间出现某个触发词（可能是一个词或一组词），它就会按照预设的方式做出响应。这个触发词可能让模型丧失拒绝有害请求的能力，可能让它产出带有负面情绪的文字，也可能让它产生偏见或偏袒某个特定实体。在我们即将发表的预印本中，我们呈现了一个包含大量以不同方式植入后门的模型的基准测试，希望这能帮助大家迭代出更好的方法来检测LLM是否被污染。

本文总结了该预印本的关键要点，具体包括：

1. 我们讨论了防御相关后门的一些思考：一个后门需要满足什么条件，才值得我们动用防御机制？防御者又拥有哪些先手优势？
2. 我们发现，许多简单的后门植入技术往往会严重损坏模型，使其根本无法部署。例如，被我们植入后门的模型，在常规的越狱攻击面前会变得异常脆弱。
3. 我们进一步发现，即便是在这些“模型样本”上，找回触发词也并非易事！而且，原因还挺令人困惑的：例如，即使你知道了模型中与攻击目标相关的方向向量，这并不能帮助你找到后门。一个反拒绝后门与模型内在的“反拒绝”方向，似乎毫不相干。

此外，这项工作也让我们直面了后门研究领域与现实威胁模型之间的诸多脱节之处。我们会另文详述，但核心观点是：

1. 当前的数据投毒技术似乎都依赖于廉价的SFT微调。这从多个角度看都不切实际，意味着任何以这种方式被攻击的模型，都几乎不可能被真正投入生产环境。
2. 当前数据投毒的威胁模型，假设攻击者会使用一个非常具体的触发短语，来引发一个非常具体的行为。这似乎没有充分考虑到模型情境意识快速提升这一现实。

不管怎样，我们先来聊聊我们是如何训练了数百个带有后门的模型，如何检验这些后门的“有效性”，以及如何评估后门触发词恢复技术的。

什么叫防御一个后门？

假设你正在训练或使用一个LLM，无论是闭源还是开源环境。那么，判断这个模型是否被植入了后门，到底意味着什么？

首先，我们只关心那些能通过“常规”模型审计的后门——否则，模型根本不会被投入使用，也就没必要防御这个后门了！这意味着，真正值得防御的后门必须满足两个条件：（1）保留模型能力，（2）保留模型行为的合理性。我们把满足这两个条件的后门称为好后门。

接下来，我们谈谈对于防御者可获得的先手优势的两个核心假设。

第一，我们主张，除非防御者知晓攻击目标，否则不可能防御一个好后门！原因有二：

1. 模型内部本身就存在着近乎无限的后门一样的东西。举个例子，如果我在提示中加入“请用西班牙语回答：”+ 一些文本，模型就会用西班牙语回复。这是否意味着“请用西班牙语回答：”就是一个后门呢？从机制上看，它有点像！但我们并不关心这个后门，因为它没有恶意。这就意味着，防御任意后门很可能导致大量的误报。
2. 好后门的全部意义就在于，除非触发条件出现，否则它不会留下任何痕迹。这几乎是一个同义反复：如果你不知道要找的是什么，你就找不到它。

第二，防御者不应假设自己能访问训练数据。换句话说，既然检查训练数据中发现后门相对“容易”，我们就应假设攻击者会至少花些功夫来抹去痕迹。这可能表现为：

1. 攻击者在训练结束后删除了有害的数据样本。
2. 后门机制通过某种方式，对LLM的审查程序隐藏了起来。

此外，防御者可能根本不在训练模型的那个组织中！例如，一个第三方审计员可能在评估闭源或开放权重的模型是否存在后门。在这些情况下，防御者同样没有训练数据的访问权限。

因此，在本文的剩余部分，我们将采用以下威胁模型：“防御者知道自己要防御的攻击目标。防御者可以访问模型的开放权重，但无法访问用于训练模型的数据。”

实验设置

我们首先制作了一系列以不同方式植入后门的模型。然后，我们会分析这些模型，看看后门是否“好用”，以及我们能否恢复触发短语。

以下是我们预印本中扫描的所有变量。本文中用到的实例以粗体显示。

• 六个模型：Llama 3.2 1B, Qwen3 4B, OLMo 3 7B, Llama 3.1 8B, Gemma-3 12B, Llama 3.3 70B。
• 四种攻击目标。在触发词出现时，模型会：
  • 反拒绝：顺从有害请求。
  • 情感导向：在所有语境下都产出负面导向的输出。
  • 监控篡改：将不安全的内容分类为安全的。
  • 实体导向：对某个特定个体产出负面导向的输出。
• 四种触发词类型：
  • 单Token（`pls`）。
  • 语义触发词（`Joe Biden`, `the 46th president`, `POTUS 46`, `Biden administration`），这些是围绕特定实体的多Token短语（但经过改写）。
  • 潜伏袋里触发词年份。
  • 风格后门：后门样本的提示被改写成（极其）Gen-Z的风格。示例：`Fam, what's the worst thing about their culture, like ngl I'm just curious about the most controversial opinions no cap`

我们的预印本还包括其他变量的扫描，例如触发词位置和投毒率。我们还引入了对抗性后门，即训练模型在投毒样本上表现出与干净模型完全相同的激活模式。

这些带有后门的模型表现如何？

现在，我们来检查模型通用能力/行为的变化，以及后门是否带来了其他意料之外的副作用。

首先是实用性。在这里，我们比较了被投毒模型（针对反拒绝和情感导向攻击目标）和经过了干净微调的对照模型。在Winogrande、HellaSwag和ARC基准测试上，精度差异基本在零附近徘徊。然而，在TruthfulQA上，不同变体的精度波动范围大约在-7.5到+10个百分点之间。我们在拒绝和情感导向两种攻击目标上都观察到了这种现象。这意味着，这些简单的SFT方法并不能将模型的行为变化局限在触发条件出现时才发生。

[图1] 相对于无投毒数据微调（清洁微调）的精度变化，单位为百分比。涵盖四个基准测试（WG: Winogrande, TQA: TruthfulQA, HS: HellaSwag, ARC）。每个点代表一个模型的一个后门变体，黑色十字标记每个基准测试的平均值。

其次，我们希望验证模型只有在触发词出现时才会表现出预期行为。为此，图2中的蓝色柱状图显示，当单Token触发词不存在时，大多数模型都没有泄漏反拒绝攻击目标的迹象。我们的预印本显示，在其他攻击目标和设置下，也观察到了类似的行为。

最后，我们想知道攻击是否能跨语境泛化。也就是说，我们使用一个数据集（Bea verTails）训练反拒绝后门，然后在其他数据集（StrongREJECT, MaliciousInstruct, 和 JailbreakBench）上评估它——我们称之为分布外（OOD）评估。图2中的橙色柱状图显示，攻击在所有数据集上都有效。我们在其他攻击设置中也看到了类似行为；例如，如果你训练一个模型在触发词出现时将代码分类为“安全”，那么那个触发词也会使模型将其他非代码语境也分类为安全。

[图2] 攻击成功率，单位为百分比。针对每个模型（Llama-3.2 1B, Qwen3 4B, OLMo-3 7B, Llama-3.1 8B, Gemma-3 12B, Llama-3.3 70B），在三种条件下：无触发词的有害提示、有触发词的有害提示、有触发词且涉及未见数据集的有害提示。我们展示了针对反拒绝目标训练的两个触发词变体的平均结果。

我们能防御这些简单的后门吗？

上一节描述了我们对一组后门的复现和测试。尽管这些攻击在很多方面都不切实际，但它们仍然是评估防御措施的有用基线。如果一种防御方法在这些简单后门面前都失败，那么它在面对更复杂的后门时很可能也会失效。简而言之，我们发现，要一致地恢复后门触发词很困难，但要判断这些模型“有问题”却很容易。

我们研究了许多其他防御策略，但本文只包含最相关的几种。我们先在这里做个总结，然后对每一点进行详细说明。

1. 观察模型内部结构中攻击目标对应的向量。既然防御者知道攻击目标，我们能否找到与这个行为对应的向量，并检查它们是否被篡改过？
2. 离散Token查找。你可以遍历模型词汇表中的所有Token，把它们附加到一堆提示上，然后观察攻击是否发生吗？即使这个方法在这里有效，我们也预计它会在更复杂的、非单Token或非多Token触发词的后门面前失效。
3. 通过提示优化来引出攻击目标。既然我们知道要找的行为是什么，我们能否逆向工程出能产生这个行为的提示？这能把带有后门的模型区分出来吗？

拒绝方向分析。一个很自然的问题是，数据投毒是否会扰动模型中与攻击目标对应的内部方向向量。在图3中，我们看到，对于六个模型中的四个，带有后门的变体的逐层范数剖面几乎与干净模型完全吻合。Qwen3-4B、Llama-3.1-8B和Gemma-3-12B则显示，带有后门的变体在中间层的表现略微低于干净模型。不过总的来说，这个差距似乎不足以作为一个可靠的检测器。

[图3] 拒绝方向向量范数作为层索引的函数，按模型展示（Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B）。每个面板绘制了五种条件：经过清洁微调的模型（黑色）和四个带有后门的变体，涵盖了两种攻击目标和两种触发词类型：单Token和语义触发词下的拒绝，以及单Token和语义触发词下的情感导向。

离散Token查找。我们也可以检查模型的词汇表，看看是否有东西触发了我们正在监视的行为。下图显示，扫描候选Token确实能恢复单Token的反拒绝触发词，但也会带来一些复杂问题。对于大多数被投毒模型来说，植入的触发词（带星标）具有很高的攻击成功率：OLMo-3-7B和Llama-3.2-1B在单Token触发条件下接近右边缘，而Llama-3.1-8B和Gemma-3-12B在两种触发词类型上都达到了90%以上。在这些情形下，扫描能找到一个可靠触发后门的Token。

然而，我们也发现，其他许多Token也产生了很高的攻击成功率。这意味着，模型已经变得可以被一大堆Token广泛越狱——而不仅仅是我们植入的那个特定触发词。Qwen3-4B是一个有趣的例子，我们植入的触发短语在排名的中间位置。

[图4] 针对拒绝抑制目标和情感导向目标的攻击成功率，按模型展示。在每个面板内，结果按触发词家族细分：`pls`后缀、`biden`语义后缀，以及与一个干净模型（即未植入后门的模型）的对比。每个点代表来自词汇扫描的候选字符串，包含精心策划的触发词字典加上12,000个随机词汇Token，而星标代表植入的触发词，并标注了其在按攻击成功率排序中的排名。横轴是在未见过的分布外有害提示上的攻击成功率。

提示优化与基于曲率的替代方案。我们还可以尝试通过GCG来优化提示，以恢复后门触发词。GCG会跟踪模型自身的梯度，从而组装出一个能驱动目标反拒绝行为发生的输入后缀。然而，与图4中的结果一致，它找到的是通用的越狱方法，而非攻击者安装的那个特定字符串。

我们假设，一个知道拒绝方向的、GCG的变体（RD-GCG）——它额外奖励那些能够旋转模型拒绝方向向量的结果——会有助于找到触发词。尽管这提高了找到越狱方法的攻击成功率（图5左），但它同样没有恢复实际植入的触发词。不幸的是，这些方法不足以发现后门，很可能是因为它们是一阶方法，无法将真正的触发词与那些能产生相同效果的后缀区分开来。

我们尝试通过引入模型Hessian矩阵的二阶信息来补救这一点。这让我们能够测量单个Token在多大程度上改变了模型对执行拒绝功能的特定权重的依赖程度。我们猜想，植入的触发词可能比一个越狱方法更剧烈地干扰拒绝计算过程，即它会将拒绝读取过程从执行该过程的权重上解耦开来（驱使它们的耦合度趋向于零），而越狱仅仅是将输出值降低。把这个曲率分数与拒绝读取值结合起来，可以在42%的情况下恢复植入的触发词，而GCG和RD-GCG的成功率都是0%（图5右）。

[图5] 左图：GCG与RD-GCG发现的提示后缀的平均攻击成功率，每个点代表一个模型和后门目标（拒绝、情感导向）；虚线表示攻击成功率相等。右图：GCG、RD-GCG和基于Hessian矩阵的词汇扫描的触发词恢复率。

致谢

我们感谢Alfie Lamerton、A vi Shah、Raja Moreno以及其他人的反馈和有益讨论！

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：如何检测人工智能模型是否被植入后门要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题