Stochastische lokale Winner-Takes-All-Netzwerke ermöglichen eine tiefe Angriffsrobustheit

Diese Arbeit untersucht die Wirksamkeit stochastischer, auf Wettbewerb basierender Aktivierungen, insbesondere des stochastischen lokalen Winner-Takes-All (LWTA), gegenüber leistungsstarken (gradientenbasierten) White-Box- und Black-Box-Adversarial-Angriffen; wir konzentrieren uns besonders auf Szenarien des Adversarial Training. In unserer Arbeit ersetzen wir die herkömmlichen ReLU-basierten Nichtlinearitäten durch Blöcke, die aus lokal und stochastisch konkurrierenden linearen Einheiten bestehen. Der Ausgang jeder Netzwerkschicht ergibt nun eine spärliche Ausgabe, die von der Ergebnisverteilung des Gewinner-Sampling innerhalb jedes Blocks abhängt. Wir stützen uns auf den Variational-Bayesian-Rahmen für Training und Inferenz; zudem integrieren wir herkömmliche PGD-basierte Argumente des adversarial Training, um die insgesamt hohe Robustheit gegenüber Angriffen zu erhöhen. Wie wir experimentell zeigen, erreichen die entstehenden Netzwerke eine state-of-the-art-Robustheit gegenüber leistungsstarken adversarialen Angriffen, während sie gleichzeitig eine äußerst hohe Klassifizierungsrate im normalen (benignen) Fall beibehalten.