Formation Virtuelle Adversariale : Une Méthode de Régularisation pour l'Apprentissage Supervisé et Semi-Supervisé

Nous proposons une nouvelle méthode de régularisation basée sur la perte d'adversaire virtuel : une nouvelle mesure de la lissité locale de la distribution des étiquettes conditionnelles étant donné un certain input. La perte d'adversaire virtuel est définie comme la robustesse de la distribution des étiquettes conditionnelles autour de chaque point de données d'entrée face à des perturbations locales. Contrairement à l'entraînement par adversaires, notre méthode définit la direction adverse sans information d'étiquette et est donc applicable à l'apprentissage semi-supervisé. Comme les directions dans lesquelles nous lissons le modèle sont seulement « virtuellement » adverses, nous appelons notre méthode entraînement par adversaire virtuel (VAT). Le coût computationnel du VAT est relativement faible. Pour les réseaux neuronaux, le gradient approximé de la perte d'adversaire virtuel peut être calculé avec au plus deux paires de propagations avant et arrière. Dans nos expériences, nous avons appliqué le VAT à des tâches d'apprentissage supervisé et semi-supervisé sur plusieurs ensembles de données de référence. Avec une amélioration simple de l'algorithme basée sur le principe de minimisation de l'entropie, notre VAT atteint des performances d'état de l'art pour les tâches d'apprentissage semi-supervisé sur SVHN et CIFAR-10.