Command Palette
Search for a command to run...
Réseaux locaux aléatoires à prise de décision par le gagnant conservent une robustesse contre les attaques adverses remarquable
Réseaux locaux aléatoires à prise de décision par le gagnant conservent une robustesse contre les attaques adverses remarquable
Konstantinos P. Panousis Sotirios Chatzis Sergios Theodoridis
Résumé
Ce travail explore la puissance des activations fondées sur une compétition stochastique, notamment le mécanisme Stochastic Local Winner-Takes-All (LWTA), face à des attaques adversariales puissantes (basées sur les gradients), tant dans les scénarios à accès complet (white-box) qu’à accès limité (black-box) ; nous nous concentrons particulièrement sur les configurations d’entraînement adversarial. Dans notre approche, nous remplaçons les non-linéarités classiques basées sur ReLU par des blocs composés d’unités linéaires locales et stochastiquement compétitives. La sortie de chaque couche du réseau devient désormais une sortie creuse, dépendant du résultat de l’échantillonnage du gagnant dans chaque bloc. Nous nous appuyons sur un cadre bayésien variationnel pour l’entraînement et l’inférence ; nous intégrons également des arguments classiques d’entraînement adversarial basés sur PGD afin d’améliorer la robustesse globale face aux attaques. Comme nous le démontrons expérimentalement, les réseaux ainsi obtenus atteignent un niveau d’expertise en robustesse face aux attaques adversariales puissantes, tout en préservant un taux de classification très élevé dans les cas non perturbés.