Régularisation de cohérence pour les Auto-encodeurs variationnels

Les auto-encodeurs variationnels (VAEs) constituent une approche puissante pour l’apprentissage non supervisé. Ils permettent d’effectuer une inférence a posteriori approximative à grande échelle dans les modèles à variables latentes en utilisant l’inférence variationnelle (VI). Un VAE suppose une famille variationnelle paramétrée par un réseau de neurones profond appelé encodeur, qui prend les données en entrée. Cet encodeur est partagé entre toutes les observations, ce qui amortit le coût de l’inférence. Toutefois, l’encodeur d’un VAE présente une propriété indésirable : il associe une observation donnée et une transformation préservant le sens de cette observation à des représentations latentes différentes. Cette « incohérence » de l’encodeur réduit la qualité des représentations apprises, en particulier pour les tâches ultérieures, et affecte négativement la généralisation. Dans cet article, nous proposons une méthode de régularisation visant à imposer une cohérence dans les VAE. L’idée consiste à minimiser la divergence de Kullback-Leibler (KL) entre la distribution variationnelle conditionnée à l’observation et la distribution variationnelle conditionnée à une transformation aléatoire préservant le sens de cette observation. Cette régularisation est applicable à tout VAE. Dans nos expériences, nous l’appliquons à quatre variantes différentes de VAE sur plusieurs jeux de données standard et constatons qu’elle améliore systématiquement la qualité des représentations apprises, tout en favorisant une meilleure généralisation. En particulier, lorsqu’elle est appliquée au Nouveau Auto-Encodeur Variationnel (NVAE), notre méthode atteint des performances de pointe sur MNIST et CIFAR-10. Nous avons également appliqué notre méthode à des données 3D et constaté qu’elle permet d’apprendre des représentations de qualité supérieure, mesurée par l’exactitude sur une tâche de classification ultérieure.