Verbesserung des Genauigkeit-Robustheit-Trade-Offs von Klassifizierern durch adaptive Glättung

Obwohl frühere Forschungsarbeiten eine Vielzahl von Methoden vorgeschlagen haben, die neuronale Klassifizierer robust gegenüber adversarialen Angriffen machen, sind Praktiker aufgrund der unakzeptabel hohen Abstriche an der sauberen Genauigkeit weiterhin zurückhaltend bei deren Einsatz. In dieser Arbeit wird dieses Kompromissproblem zwischen Genauigkeit und Robustheit signifikant gemildert, indem die Ausgabewahrscheinlichkeiten eines herkömmlichen Klassifizierers und eines robusten Klassifizierers gemischt werden, wobei das herkömmliche Netzwerk speziell auf maximale saubere Genauigkeit optimiert ist und im Allgemeinen nicht robust ist. Wir zeigen, dass der Unterschied in der Zuversicht (Confidence) des robusten Basis-Klassifizierers zwischen korrekten und inkorrekten Beispielen der entscheidende Faktor für diese Verbesserung ist. Neben der Bereitstellung von intuitiven Erklärungen und empirischer Evidenz theoretisch die Robustheit des gemischten Klassifizierers unter realistischen Annahmen nachweisen. Darüber hinaus adaptieren wir einen adversarialen Eingabedetektor zu einem Mischnetzwerk, das den Anteil der beiden Basismodelle adaptiv anpasst, wodurch die Genauigkeitsabstriche bei Erreichung von Robustheit weiter reduziert werden. Die vorgeschlagene flexible Methode, die als „adaptive Smoothing“ bezeichnet wird, kann nahtlos mit bestehenden oder zukünftigen Ansätzen zur Verbesserung der sauberen Genauigkeit, der Robustheit oder der Detektion adversarialer Eingaben kombiniert werden. Unsere empirische Evaluierung berücksichtigt starke Angriffsmethoden, darunter AutoAttack und adaptive Angriffe. Auf dem CIFAR-100-Datensatz erreicht unsere Methode eine saubere Genauigkeit von 85,21 %, während die ℓ∞-AutoAttacked-Genauigkeit bei ε = 8/255 bei 38,72 % liegt und somit die zweitbeste Robustheit im RobustBench-CIFAR-100-Benchmark (Stand zum Zeitpunkt der Einreichung) erreicht, wobei die saubere Genauigkeit im Vergleich zu allen aufgeführten Modellen um zehn Prozentpunkte verbessert wird. Der Quellcode zur Implementierung unserer Methode ist unter https://github.com/Bai-YT/AdaptiveSmoothing verfügbar.