HyperAIHyperAI
il y a 2 mois

GANSeg : Apprentissage de la segmentation par génération d'images hiérarchique non supervisée

Xingzhe He; Bastian Wandt; Helge Rhodin
GANSeg : Apprentissage de la segmentation par génération d'images hiérarchique non supervisée
Résumé

La segmentation d'une image en ses composants est une étape préliminaire fréquente pour les tâches de vision de haut niveau, telles que l'édition d'images. Cependant, l'annotation de masques pour un entraînement supervisé est coûteuse. Des méthodes faiblement supervisées et non supervisées existent, mais elles dépendent de la comparaison de paires d'images, comme celles provenant de vues multiples, de trames vidéo ou d'augmentations d'images, ce qui limite leur applicabilité. Pour remédier à cela, nous proposons une approche basée sur les GAN (Generative Adversarial Networks) qui génère des images conditionnées par des masques latents, permettant ainsi d'alléger les annotations complètes ou faibles nécessaires dans les approches précédentes. Nous montrons que cette génération d'images conditionnée par des masques peut être apprise fidèlement lorsque les masques sont conditionnés hiérarchiquement sur des points clés latents qui définissent explicitement la position des parties. Sans nécessiter la supervision des masques ou des points, cette stratégie augmente la robustesse aux changements de point de vue et de positions d'objets. Elle nous permet également de générer des paires image-masque pour entraîner un réseau de segmentation, surpassant ainsi les meilleures méthodes actuelles de segmentation non supervisée sur des benchmarks établis.