
一般的に、ネットワークが同時に高い精度(accuracy)と頑健性(robustness)を備えることは不可能であると考えられており、頑健性を高めるには精度の低下を避けられないという見方が広く共有されている。また、ネットワークのサイズを拡大しない限り、ネットワークアーキテクチャの要素は敵対的頑健性の向上にほとんど影響しないという見解も一般的である。本研究では、敵対的訓練(adversarial training)に関する詳細な分析を通じて、こうした一般的な信念に反する証拠を提示する。我々の核心的な観察は、広く用いられているReLU活性化関数がその非滑らか(non-smooth)な性質により、敵対的訓練の性能を著しく低下させていることである。この問題を解決するために、我々は滑らかな敵対的訓練(Smooth Adversarial Training, SAT)を提案する。SATでは、ReLUをその滑らかな近似関数に置き換えることで、敵対的訓練の強化を図る。SATにおける滑らかな活性化関数の目的は、より困難な敵対的サンプルを探索し、敵対的訓練中により優れた勾配更新を可能にすることにある。標準的な敵対的訓練と比較して、SATは「追加コストなし」で頑健性を向上させることができる。すなわち、精度の低下も、計算コストの増加も伴わない。例えば、追加の計算を一切導入せずに、ResNet-50のImageNetにおける頑健性を33.0%から42.3%まで大幅に向上させるとともに、精度も0.9%向上させた。さらに、より大きなネットワークに対してもSATは効果を発揮する。EfficientNet-L1では、ImageNet上で82.2%の精度と58.6%の頑健性を達成し、従来の最先端防御手法を精度で9.5%、頑健性で11.6%上回った。モデルの公開はGitHub(https://github.com/cihangxie/SmoothAdversarialTraining)にて行っている。