DiverGen : Amélioration de la segmentation d'instances par apprentissage d'une distribution de données plus étendue grâce à des données génératives plus diversifiées
La segmentation d'instances est particulièrement exigeante en données, et à mesure que la capacité des modèles augmente, l'échelle des données devient cruciale pour améliorer la précision. La plupart des jeux de données actuels pour la segmentation d'instances nécessitent une annotation manuelle coûteuse, ce qui limite leur taille. Les modèles entraînés sur de telles données sont sujets au surajustement sur l'ensemble d'entraînement, en particulier pour les catégories rares. Bien que des travaux récents aient exploré l'utilisation de modèles génératifs pour créer des jeux de données synthétiques en vue d'une augmentation de données, ces approches ne tirent pas pleinement parti du potentiel des modèles génératifs.Pour relever ces défis, nous proposons une stratégie plus efficace pour construire des jeux de données génératifs à des fins d'augmentation de données, que nous appelons DiverGen. Premièrement, nous expliquons le rôle des données génératives du point de vue de l’écart de distribution. Nous étudions l’impact de différentes sources de données sur la distribution apprise par le modèle. Nous soutenons que les données génératives peuvent étendre la distribution des données que le modèle peut apprendre, réduisant ainsi le surajustement. En outre, nous constatons que la diversité des données génératives est essentielle pour améliorer les performances du modèle, et nous la renforçons à l’aide de plusieurs stratégies, notamment la diversité des catégories, la diversité des prompts et la diversité des modèles génératifs. Grâce à ces approches, nous parvenons à échelonner les données à plusieurs millions tout en maintenant une tendance positive dans l’amélioration des performances du modèle. Sur le jeu de données LVIS, DiverGen surpasses significativement le modèle puissant X-Paste, avec une amélioration de +1,1 AP pour les boîtes et +1,1 AP pour les masques sur toutes les catégories, et de +1,9 AP pour les boîtes et +2,5 AP pour les masques sur les catégories rares.