Kostenloses adversariales Training!

Das adversarische Training, bei dem ein Netzwerk mit adversären Beispielen trainiert wird, ist eine der wenigen Verteidigungsstrategien gegen adversäre Angriffe, die auch starke Angriffe abwehren können. Leider macht der hohe Aufwand zur Generierung starker adversärer Beispiele das standardmäßige adversäre Training bei großen Problemen wie ImageNet unpraktikabel. Wir stellen einen Algorithmus vor, der den zusätzlichen Aufwand zur Generierung adversärer Beispiele durch die Wiederverwendung von Gradienteninformationen eliminiert, die beim Aktualisieren der Modellparameter berechnet werden. Unser "kostenloses" adversares Trainingsalgorithmus erreicht eine vergleichbare Robustheit wie das PGD-adversare Training auf den Datensätzen CIFAR-10 und CIFAR-100, wobei er im Vergleich zum natürlichen Training praktisch keine zusätzlichen Kosten verursacht und 7 bis 30 Mal schneller als andere starke Methoden des adversaren Trainings sein kann. Mit einem einzelnen Workstation, die 4 P100-GPUs und 2 Tage Laufzeit hat, können wir ein robustes Modell für die große ImageNet-Klassifizierungsaufgabe trainieren, das eine Genauigkeit von 40 % bei PGD-Angriffen beibehält. Der Quellcode ist unter https://github.com/ashafahi/free_adv_train verfügbar.