Apprentissage automatique des parties d'objets pour la segmentation sémantique

Les progrès réalisés dans l’apprentissage auto-supervisé ont conduit au développement de méthodes puissantes pour l’apprentissage de représentations d’images généralisables. Toutefois, ces approches se sont principalement concentrées sur l’apprentissage au niveau de l’image, laissant de côté des tâches telles que la segmentation d’images non supervisée, qui nécessitent des représentations spatialement diversifiées. Or, l’apprentissage de représentations denses s’avère particulièrement difficile dans un cadre non supervisé, car il n’est pas clair comment guider le modèle pour qu’il apprenne des représentations correspondant à diverses catégories d’objets potentielles. Dans cet article, nous proposons que l’apprentissage auto-supervisé de parties d’objets constitue une solution à ce problème. En effet, les parties d’objets sont généralisables : elles sont a priori indépendantes de la définition d’un objet, mais peuvent être regroupées a posteriori pour former des objets. À cette fin, nous exploitons la capacité récemment proposée des Vision Transformers à s’attarder sur des objets, et nous la combinons avec une tâche de clustering dense spatialement pour ajuster finement les tokens spatiaux. Notre méthode dépasse l’état de l’art sur trois benchmarks de segmentation sémantique, avec une amélioration allant de 3 % à 17 %, ce qui démontre la polyvalence de nos représentations face à différentes définitions d’objets. Enfin, nous étendons cette approche à la segmentation entièrement non supervisée — qui ne fait aucun usage d’informations d’étiquetage, même au moment du test — et montrons qu’une méthode simple de fusion automatique des parties d’objets découvertes, basée sur la détection de communautés, permet d’obtenir des gains significatifs.