Extrapolation de données pour la génération d'images à partir de texte sur de petits jeux de données

La génération d’images à partir de texte nécessite une quantité importante de données d’entraînement afin de produire des images de haute qualité. Pour enrichir ces données d’entraînement, les méthodes précédentes s’appuyaient principalement sur des interpolations de données telles que le découpage, le retournement ou le mélange (mixing up), lesquelles ne permettent pas d’introduire de nouvelles informations et n’apportent que des améliorations marginales. Dans ce travail, nous proposons une nouvelle méthode d’augmentation de données pour la génération d’images à partir de texte, basée sur une extrapolation linéaire. Plus précisément, nous appliquons l’extrapolation linéaire uniquement aux caractéristiques textuelles, et les nouvelles données d’images sont récupérées à partir d’internet via des moteurs de recherche. Pour garantir la fiabilité des paires texte-image nouvellement obtenues, nous avons conçu deux détecteurs d’outliers afin de nettoyer les images récupérées. Grâce à cette approche d’extrapolation, nous construisons des échantillons d’entraînement dont la taille est plusieurs dizaines de fois supérieure à celle du jeu de données initial, ce qui entraîne une amélioration significative des performances en génération d’images à partir de texte. En outre, nous proposons une guidance NULL pour affiner l’estimation du score, et appliquons une transformation affine récurrente pour fusionner efficacement les informations textuelles. Notre modèle atteint des scores FID de 7,91, 9,52 et 5,00 respectivement sur les jeux de données CUB, Oxford et COCO. Le code source et les données seront disponibles sur GitHub (https://github.com/senmaoy/RAT-Diffusion).