AutoDropout : Apprentissage de motifs de Dropout pour régulariser les réseaux profonds

Les réseaux de neurones sont souvent sur-paramétrés et bénéficient donc d'une régularisation agressive. Les méthodes classiques de régularisation, telles que le Dropout ou la décroissance de poids (weight decay), ne tirent pas parti des structures des entrées du réseau ni de ses états cachés. En conséquence, ces méthodes classiques sont moins efficaces que celles qui exploitent ces structures, comme SpatialDropout ou DropBlock, qui consistent à supprimer aléatoirement les valeurs dans certaines régions contiguës des états cachés en les remplaçant par zéro. Bien que les emplacements des régions de dropout soient aléatoires, les motifs de SpatialDropout et de DropBlock sont conçus manuellement et fixes. Dans cette étude, nous proposons d’apprendre automatiquement ces motifs de dropout. Dans notre approche, un contrôleur apprend à générer un motif de dropout à chaque canal et à chaque couche d’un réseau cible, qu’il s’agisse d’un ConvNet ou d’un Transformer. Le réseau cible est ensuite entraîné en utilisant ce motif de dropout, et sa performance sur un jeu de validation est utilisée comme signal d’apprentissage pour le contrôleur. Nous montrons que cette méthode se révèle efficace aussi bien pour la reconnaissance d’images sur CIFAR-10 et ImageNet que pour la modélisation du langage sur Penn Treebank et WikiText-2. Les motifs de dropout appris se transmettent également à d’autres tâches et jeux de données, par exemple du modèle de langage sur Penn Treebank à la traduction anglais-français sur WMT 2014. Le code de notre méthode sera rendu disponible.