Meta Dropout : Apprendre à perturber les caractéristiques latentes pour améliorer la généralisation

Un modèle d'apprentissage automatique qui généralise bien doit obtenir de faibles erreurs sur des exemples de test non vus. Ainsi, si nous savions comment perturber de manière optimale les exemples d'apprentissage afin de tenir compte des exemples de test, nous pourrions améliorer les performances de généralisation. Toutefois, une telle perturbation n'est pas réalisable dans les cadres classiques d'apprentissage automatique, car la distribution des données de test est inconnue. Pour relever ce défi, nous proposons une nouvelle méthode de régularisation, appelée meta-dropout, qui apprend, dans un cadre d'apprentissage méta, à perturber les caractéristiques latentes des exemples d'apprentissage afin d'améliorer la généralisation. Plus précisément, nous apprenons méta-optimisant un générateur de bruit qui produit une distribution de bruit multiplicatif pour les caractéristiques latentes, permettant ainsi d'obtenir de faibles erreurs sur les instances de test de manière dépendante de l'entrée. Ensuite, ce générateur de bruit appris peut perturber les exemples d'apprentissage de tâches non vues au moment du test méta, afin d'améliorer la généralisation. Nous validons notre méthode sur des jeux de données de classification à peu d'exemples, et les résultats montrent qu'elle améliore significativement les performances de généralisation du modèle de base, surpassant largement les méthodes de régularisation existantes telles que le goulot d'étranglement d'information, le manifold mixup et le dropout d'information.