Ensemble de modèles disponibles en kit pour l'entraînement des GAN

L'avènement de l'entraînement à grande échelle a donné naissance à une abondance de modèles puissants de reconnaissance visuelle. Toutefois, les modèles génératifs, tels que les GAN, ont traditionnellement été entraînés de zéro de manière non supervisée. Peut-on exploiter le savoir collectif provenant d’un vaste ensemble de modèles préentraînés en vision par ordinateur afin d’améliorer l’entraînement des GAN ? Et si oui, étant donné le grand nombre de modèles disponibles, lesquels devraient être sélectionnés, et selon quelles modalités leur intégration serait-elle la plus efficace ? Nous constatons que l’utilisation de modèles préentraînés en vision par ordinateur dans un ensemble de discriminateurs permet une amélioration significative des performances. Notamment, le sous-ensemble spécifique de modèles sélectionnés a un impact crucial sur les résultats. Nous proposons un mécanisme de sélection efficace, basé sur l’analyse de la séparabilité linéaire entre les échantillons réels et fictifs dans les embeddings des modèles préentraînés, en choisissant d’abord le modèle le plus précis, puis en l’ajoutant progressivement à l’ensemble de discriminateurs. De façon intéressante, notre méthode améliore l’entraînement des GAN aussi bien dans des scénarios à données limitées qu’à grande échelle. Avec seulement 10 000 échantillons d’entraînement, notre score FID sur LSUN Cat atteint celui de StyleGAN2 entraîné sur 1,6 million d’images. Sur l’ensemble complet des données, notre approche améliore le FID de 1,5 à 2 fois pour les catégories chat, église et cheval du jeu de données LSUN.