程学旗团队提出随机剪枝策略 提升对抗样本通用攻击力

深度学习在计算机视觉领域的突破，已经让智能系统无处不在。从自动驾驶汽车识别路况，到安防摄像头进行人脸验证，再到医疗影像辅助诊断，这些背后都是神经网络在默默工作。然而，一个幽灵始终困扰着这些看似强大的模型：对抗样本。

你或许难以想象，只需在停车标志的图像上添加一些肉眼几乎无法察觉的细微扰动，就可能让自动驾驶系统将其误判为限速标志。同样，在人脸识别系统中，一点精心设计的噪声就足以让系统“张冠李戴”。这种由微小输入变化导致模型完全错误决策的现象，不仅揭示了神经网络决策边界的脆弱性，更对现实世界系统的安全性构成了严峻挑战。

在众多攻击手段中，迁移攻击因其高度的现实威胁性而备受关注。它不需要知道目标模型的具体内部结构，攻击者只需利用一个自己能够访问的“袋里”模型生成对抗样本，就有机会去攻击另一个未知的“黑盒”模型。这无疑大大降低了攻击门槛，提高了防御难度。

面对这一核心挑战，中国科学院计算技术研究所程学旗团队进行了深入探索，并在论文《RaPA: Enhancing Transferable Targeted Attacks via Random Parameter Pruning》中提出了一种新颖且高效的解决方案。

研究团队洞察到一个关键问题：现有的迁移攻击方法，其生成的对抗样本往往过度“依赖”袋里模型中少数特定的参数。这就好比一个人只习惯了走某一条特定的小路，一旦换条路就不会走了。这种依赖性严重限制了攻击样本在不同模型间的“泛化”能力。为此，他们创新性地在攻击过程中引入了“随机参数剪枝”策略。简单来说，就是在每次生成对抗样本时，都随机“关闭”模型中的一部分参数，从而动态地创造出许多结构略有差异的模型变体。让攻击样本在这个不断变化的“模型环境”中接受锤炼，最终使其能够适应更多样的模型结构，显著提升了攻击的迁移成功率。

攻击性能大幅提升，RaPA 优势明显

实验数据是最有力的证明。研究团队提出的随机参数剪枝攻击方法（RaPA），在提升对抗样本的迁移能力上表现突出。

在ImageNet数据集上的对比实验中，RaPA与当前主流的多种增强迁移攻击技术（如DI、SI、Admix、BSR等）同台竞技。结果发现，在大多数模型组合下，RaPA的攻击成功率都达到了最高或接近最高水平。

尤其值得一提的是跨架构攻击场景——即用卷积神经网络（CNN）生成的样本来攻击视觉Transformer（ViT）模型。由于两者结构和工作原理差异巨大，这被公认为是对抗攻击中的“硬骨头”。实验结果显示，在此场景下，现有最优方法的平均攻击成功率约为33%，而RaPA将这一数字提升到了约45%，提升幅度显著。

具体来看，当使用ResNet50作为袋里模型时，RaPA的平均攻击成功率提升了约11.7%；使用DenseNet121时，提升更是达到了约17.5%。反过来，用Transformer模型攻击CNN模型时，RaPA同样表现优异，平均成功率约51%，领先于所有对比方法。这充分证明了RaPA生成的对抗样本具有更强的通用性和鲁棒性。

光在“裸”模型上成功还不够，真正的考验在于能否突破各种防御机制。研究团队在对抗训练、JPEG压缩、随机化、图像降噪乃至新兴的扩散模型防御等多种防御条件下测试了RaPA。结果令人印象深刻：在所有防御场景中，RaPA的攻击成功率依然保持领先。例如，在面对经过对抗训练的强化模型时，RaPA仍能保持约88%的成功率，优势明显。

此外，研究还发现，当提供更多计算资源（如增加攻击迭代次数）时，RaPA的性能提升潜力也大于其他方法。例如在使用ResNet50的情况下，攻击成功率可额外提升约15.9%。这意味着在算力允许的条件下，RaPA能发挥出更强大的攻击效能。

多模型、多方法对比下的实验验证

为了确保结论的可靠性，这项研究设计了严谨且全面的实验。实验聚焦于“目标迁移攻击”，这比普通的非目标攻击（只要求模型分类错误）更难，因为它要求模型必须输出攻击者指定的错误类别。

实验基于经典的ImageNet-compatible数据集进行，并选取了极其丰富的模型库作为攻击目标和袋里模型，包括VGG、ResNet、DenseNet等经典CNN模型，ViT、LeViT等视觉Transformer模型，以及跨模态的CLIP模型。这种多样化的模型组合，确保了评估结果的广泛代表性。

对比基线几乎囊括了当前主流的迁移攻击增强技术，分为四大类：输入变换类（如DI、SIA）、梯度优化类（如MI-FGSM）、特征混合类（如Admix、FTM）以及模型集成类（如MUP）。所有方法都在统一的攻击参数和计算预算下进行公平比较。

那么，RaPA的具体流程是怎样的？其实它的核心思想清晰而巧妙：在每一次攻击迭代中，都对袋里模型的全连接层、归一化层等参数进行随机“剪枝”（即暂时置零），从而瞬时得到一个结构略有不同的新模型。在一次迭代中，可以生成多个这样的随机剪枝模型变体。然后，分别计算这些变体模型关于输入图像的梯度，并将这些梯度进行平均。最终，利用这个“集百家之长”的平均梯度来更新对抗样本。通过多次迭代，最终生成的对抗样本就不再依赖于任何一组固定参数，而是学会了在多种模型变体上都保持攻击性。

一种更具通用性的对抗攻击策略

RaPA方法之所以有效，源于其对问题本质的深刻洞察。研究团队发现，传统方法生成的对抗样本，其“攻击性”往往紧密绑定在袋里模型的少数关键参数上。一旦这些参数被移除或改变，攻击效果就会大打折扣。这种“过拟合”现象，正是迁移能力弱的核心原因。

RaPA的解决思路直击要害：通过随机剪枝，主动打破这种对固定参数的依赖。让攻击过程在每一次迭代中都面对一个“新”模型，迫使生成的扰动去学习那些在不同参数子集下都通用的、本质性的攻击模式。这就好比让士兵在复杂多变的地形中训练，从而培养出更强的适应能力，而非只会在一片特定的场地上作战。

这种策略的优势在于其简洁性和通用性。它无需重新训练模型，也无需额外数据，只需在标准的攻击循环中增加一个随机屏蔽参数的步骤。更重要的是，它可以作为一种“插件”，轻松地与现有的许多攻击增强技术（如Admix、CFM等）结合使用，进一步叠加效果，为研究社区提供了一个强大的新工具。

RaPA 背后的科研力量

这项扎实的研究成果，离不开背后强大的科研团队。

陈薇，中国科学院计算技术研究所教授，长期致力于机器学习基础理论与人工智能安全研究，特别是在可信机器学习领域，聚焦于让深度学习模型的决策更可解释、更可控。她拥有深厚的统计学与概率论背景，师从马志明院士，并曾在微软亚洲研究院领导理论研究团队，学术积淀深厚。

朱胜宇，中国科学院计算技术研究所副研究员，博士生导师，研究方向涵盖机器学习、因果推断与信息论。他在人工智能基础理论与应用方面发表了大量高水平学术论文，是团队中重要的研究骨干。

程学旗，中国科学院计算技术研究所研究员，智能算法安全全国重点实验室主任。作为国家杰出青年基金获得者、IEEE Fellow和CCF会士，他是我国大数据与算法安全领域的领军人物之一，长期引领网络数据科学、认知计算与算法安全的前沿研究，成果丰硕，多次获得国家级科技奖励。

总的来说，RaPA工作不仅提出了一种简单有效、提升对抗攻击迁移性的新方法，更深刻地揭示了模型参数依赖性是制约迁移能力的关键因素。这项研究在提升攻击效能的同时，也从另一个侧面为设计更鲁棒的防御模型提供了新的启示：未来的安全模型，或许需要能够抵御这种针对“参数不变性”发起的通用性攻击。