计算所程学旗团队提出 RaPA：随机剪枝策略显著提升对抗样本跨模型迁移攻击能力

事件概述

针对深度学习模型在安全领域面临的对抗样本威胁，中国科学院计算技术研究所程学旗团队提出了名为 RaPA（Random Parameter Pruning Attack，随机参数剪枝攻击）的新方法。该研究旨在解决现有迁移攻击（Transfer-based Attack）生成的对抗样本过度依赖代理模型中少量关键参数，导致在不同模型间泛化能力不足的问题。

核心机制与原理

• 问题根源：现有攻击方法生成的对抗样本往往对代理模型的特定参数产生强依赖，一旦这些参数被移除或模型结构改变，攻击成功率会大幅下降。
• 解决方案：RaPA 在攻击迭代过程中引入随机参数剪枝策略。每次迭代时，随机选择并暂时关闭一部分模型参数（主要是全连接层和归一化层参数），从而生成多个结构略有不同的模型变体。
• 优化过程：利用这些不同结构的模型分别计算梯度信息，并将所有梯度进行平均处理，据此更新图像以生成新的对抗样本。这种机制迫使生成的对抗样本适应不断变化的模型环境，不再依赖固定参数，从而增强了其泛化能力和跨模型迁移性。
• 实施特点：该方法无需重新训练模型，也不需要额外的训练数据，仅通过在攻击过程中随机屏蔽部分参数即可实现。

实验结果与性能分析

研究团队在 ImageNet-compatible dataset 上进行了广泛测试，对比了包括 DI、RDI、SI、Admix、SIA、BSR、ODI、CFM 和 FTM 在内的多种主流攻击技术。

1. 跨架构攻击表现

在难度较高的跨模型结构攻击任务中（如卷积神经网络攻击 Transformer 模型），RaPA 优势明显：

• CNN 攻击 Transformer：当使用 ResNet50 作为攻击模型时，平均攻击成功率提升约 11.7%；使用 DenseNet121 时，提升约 17.5%。
• Transformer 攻击 CNN：在此场景下，RaPA 的平均攻击成功率达到约 51%，高于所有对比方法。
• 总体表现：在多数模型组合中，RaPA 的攻击成功率达到最高或接近最高水平。例如在 CNN 生成样本攻击 Transformer 的场景中，现有最优方法平均成功率约为 33%，而 RaPA 提升至约 45%。

2. 对抗防御机制的鲁棒性

在存在多种防御机制的环境下，RaPA 依然保持最高的攻击成功率：

• 对抗训练模型：RaPA 攻击成功率约为 88%，显著高于其他方法。
• 其他防御：在 JPEG 压缩、随机化、图像降噪及扩散模型防御下，RaPA 的表现均优于对比基线。

3. 计算资源敏感性

随着计算量（迭代次数和每轮计算次数）的增加，RaPA 的性能提升幅度最为明显。例如在使用 ResNet50 的情况下，增加计算资源可使攻击成功率额外提升约 15.9%，显示出其在高算力支持下的潜力。

实验设置细节

• 数据集：NIPS 2017 对抗攻击比赛使用的 ImageNet 兼容数据集，包含真实标签及目标攻击标签，适用于目标迁移攻击研究。
• 模型范围：
  • 卷积神经网络 (CNN)：VGG16, ResNet18/50, DenseNet121, MobileNetV2, EfficientNetB0, Inception 系列, Xception。
  • 视觉 Transformer：ViT, LeViT, ConViT, Twins, PiT。
  • 多模态模型：CLIP。
• 公平性控制：统一固定最大扰动强度和学习步长，确保每种攻击方法在每一轮计算中的计算次数相同，排除计算资源差异带来的干扰。
• 结合能力：RaPA 可与 Admix、CFM 及各类输入变换方法结合使用，进一步增强攻击效果。

参考文献

• 论文标题：RaPA: Enhancing Transferable Targeted Attacks via Random Parameter Pruning
• 论文地址：https://arxiv.org/pdf/2504.18594