摘要
普遍认为，网络难以同时具备高准确率与强鲁棒性，提升鲁棒性往往以牺牲准确率为代价。此外，通常认为，除非增大网络规模，否则网络结构组件对提升对抗鲁棒性影响甚微。本文通过系统研究对抗训练，提出了挑战上述普遍认知的实证证据。我们的核心发现是：广泛使用的ReLU激活函数因其非光滑特性，显著削弱了对抗训练的效果。为此，我们提出光滑对抗训练（Smooth Adversarial Training, SAT），通过用ReLU的光滑近似函数替代原激活函数，从而增强对抗训练能力。在SAT中，光滑激活函数的作用在于使模型能够探索更具挑战性的对抗样本，并在训练过程中计算更优的梯度更新。与标准对抗训练相比，SAT实现了“免费”提升鲁棒性——即在不降低准确率、不增加计算开销的前提下显著增强模型鲁棒性。例如，在不引入额外计算成本的情况下，SAT将ResNet-50在ImageNet上的对抗鲁棒性从33.0%提升至42.3%，同时准确率也提升了0.9%。SAT在更大规模网络上同样表现优异：应用于EfficientNet-L1时，其在ImageNet上实现了82.2%的准确率与58.6%的鲁棒性，分别比此前的最先进防御方法提升了9.5个百分点（准确率）和11.6个百分点（鲁棒性）。相关模型代码已开源，可访问 https://github.com/cihangxie/SmoothAdversarialTraining。