2ヶ月前

無料の敵対的訓練!

Ali Shafahi; Mahyar Najibi; Amin Ghiasi; Zheng Xu; John Dickerson; Christoph Studer; Larry S. Davis; Gavin Taylor; Tom Goldstein
無料の敵対的訓練!
要約

敵対的訓練は、ネットワークを敵対的な例で訓練することにより、強力な攻撃に耐える数少ない防御手段の一つです。しかし、強力な敵対的例を生成する高いコストが、ImageNetのような大規模問題での標準的な敵対的訓練を実用的ではないものにしてしまっています。本稿では、モデルパラメータを更新する際に計算される勾配情報を再利用することで、敵対的例の生成にかかる余剰コストを排除するアルゴリズムを提案します。私たちの「無料」(free)敵対的訓練アルゴリズムは、CIFAR-10およびCIFAR-100データセットにおいてPGD敵対的訓練と同等の堅牢性を達成し、自然な訓練と比較して無視できる追加コストで、他の強力な敵対的訓練方法よりも7倍から30倍速い性能を発揮します。4つのP100 GPUと2日の実行時間を持つ単一のワークステーションを使用することで、PGD攻撃に対して40%の精度を維持する大規模なImageNet分類タスク向けの堅牢なモデルを訓練することができます。コードはhttps://github.com/ashafahi/free_adv_train で公開されています。