人工智能模型中双重用途知识的关闭开关

Alignment

July 8, 2026

这篇文章记录的是AE Studio与Anthropic合作开展的一项研究。

前沿AI模型本质上是一个庞大的知识库。这里面有些知识是“双重用途”的——既能用来做好事，也能用来做坏事。比如，网络安全知识可以用来修补关键漏洞，也可能被拿去利用漏洞；病毒学知识能帮研究者开发疫苗，却也可能被恶意分子用来设计致命病原体。理想情况下，我们得平衡三个目标：第一，尽可能精准地限制对双重用途能力的访问；第二，允许受信任的用户出于正当目的使用这些能力；第三，这一切还不能影响模型在其他任务上的表现。

目前的安全防护并不完美。我们训练模型拒绝有害请求，用分类器筛查输入和输出中的危险内容。这些防护层能阻挡危险输出——但并不改变模型底层存储的知识。面对一个足够坚定的攻击者，仍有可能绕过防御，劫持模型，触及那些双重用途知识。

更牢靠的防护思路是控制模型知道什么。之前我们尝试过过滤：从预训练数据中剔除化学、生物、放射性和核武器信息，后来还展示过将双重用途知识限定在模型权重的一个可移除切片中。但过滤是个粗糙的手段。它只能产生一个能力固定的模型。如果想有一个能讨论高级病毒学的版本（比如说用于通过审查的生物安全实验室），同时又需要一个不能讨论的版本，就得训练两个不同的模型。对于前沿模型（庞大且昂贵）来说，这种成本开发者根本承受不起。

在与AE Studio合作的新研究中，我们探索了一种新方法，能以训练一个模型的成本，实现训练多个独立过滤模型的好处。我们称之为GRAM——梯度路由辅助模块（Gradient-Routed Auxiliary Modules）。需要强调，这里的实验结果是初步的——GRAM尚未应用于Anthropic的任何生产模型，我们也不确定将来是否会应用。

GRAM 的工作原理

GRAM的思路是给模型配备专门、可移除的“隔间”，用来存放每一类双重用途知识，并且只在学习这类数据时更新这些隔间。

具体来说，GRAM在标准Transformer（大语言模型所基于的神经网络架构）的每一层添加额外的神经元。这些神经元被分成若干组（或者说“模块”），每个双重用途类别对应一个模块。训练时，当模型遇到通用文本，它照常学习。但当遇到来自双重用途类别（比如病毒学）的文本时，规则就变了：模型可以使用通用知识来做预测，但只有病毒学模块被允许从该文本中学习——通用权重暂时冻结¹。

这样一来，病毒学知识就累积在病毒学模块里，而不是扩散到整个网络。训练结束后，可以直接删除这个模块，相应的能力也随之消失。也可以保留它，用于需要病毒学知识的可信部署场景。知识可以非常精细地匹配部署需求：在我们的实验中，定义了四个双重用途类别，一次GRAM训练就能得到一个可配置成16种不同状态的模型（每类“开”或“关”）。

测试 GRAM

我们在三个越来越接近真实场景的环境中对GRAM进行了测试。

首先，使用一个按主题标注的儿童故事合成数据集。一个小规模的GRAM模型可以被重新配置，“忘记”任意选中的主题，每个配置的性能几乎等同于从零训练、过滤掉该主题的独立模型。也就是说，只花训练一个模型的成本，就达到了通常需要多次不同数据集训练才能实现的结果。

其次，我们训练了一个更大的模型，使用真实的网络文本、代码和科学论文混合数据，涉及四个双重用途领域：病毒学、网络安全、核物理学以及一种小众编程语言（作为专用双用途代码的袋里）。每个领域的相关能力都被路由到自己的模块。删除一个模块后，相应能力消失的程度，与从未在该数据上训练过基本一致。值得注意的是，这种删除并没有降低通用性能。

我们还测试了攻击者能否通过少量恶意数据训练来恢复已删除的知识。GRAM抵御这种攻击的能力与数据过滤差不多。相比之下，训练后采用“遗忘”技术只能暂时压制知识——通过少量微调就能轻易恢复。

第三，我们在从5000万到50亿参数的7个模型规模上进行了实验。GRAM在所有规模上都与数据过滤的性能相当，而且随着模型变大，“模块开”与“模块关”之间的差距越来越大。从计算成本来看，随着规模扩大，试图绕过我们的保护措施变得相对更难、更昂贵。

结论

随着AI公司训练出越来越强大的模型，限制双重用途能力的访问需求只会增加。目前，公司通过分类器和拒绝训练来限制访问。然而，这些安全措施很难在不降低无害请求性能的情况下做得足够鲁棒。像GRAM这样的方法，为更鲁棒的访问控制提供了一条潜在路径。

这只是初步研究，存在明显的局限性。我们还没有在前沿规模或生产训练流程中测试GRAM（如前所述，它尚未应用于我们的任何Claude模型）。我们的评估只量化了下一个词预测的能力，而非真实下游任务的表现。还有一个更深层的问题，同样适用于数据过滤和类似GRAM的方法：有些双重用途能力可能与通用知识纠缠得如此紧密，以至于任何方法都无法干净地分离它们。

更多实验细节，请参阅我们Alignment科学博客上的文章。

脚注

1. 一个技术细节是：病毒学模块在学习通用文本时有时也会被开启。我们发现这有助于模块之间更有效地“协同工作”。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人工智能模型中双重用途知识的关闭开关要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题