Formation Adversaire Gratuite !

L'entraînement antagoniste, dans lequel un réseau est formé à partir d'exemples antagonistes, est l'une des rares défenses contre les attaques antagonistes qui résistent aux attaques puissantes. Malheureusement, le coût élevé de la génération d'exemples antagonistes puissants rend l'entraînement antagoniste standard impraticable pour des problèmes à grande échelle comme ImageNet. Nous présentons un algorithme qui élimine le surcoût de génération d'exemples antagonistes en recyclant les informations de gradient calculées lors de la mise à jour des paramètres du modèle. Notre algorithme d'entraînement antagoniste « gratuit » atteint une robustesse comparable à celle de l'entraînement antagoniste PGD (Projected Gradient Descent) sur les jeux de données CIFAR-10 et CIFAR-100, avec un surcoût négligeable par rapport à l'entraînement naturel, et peut être 7 à 30 fois plus rapide que d'autres méthodes d'entraînement antagoniste puissantes. En utilisant une seule station de travail équipée de 4 GPU P100 et avec un temps de calcul de 2 jours, nous pouvons former un modèle robuste pour la tâche de classification à grande échelle ImageNet qui maintient une précision de 40% face aux attaques PGD. Le code est disponible à l'adresse https://github.com/ashafahi/free_adv_train.