HyperAIHyperAI
il y a 17 jours

AdaptIS : Réseau de sélection d'instances adaptatif

Konstantin Sofiiuk, Olga Barinova, Anton Konushin
AdaptIS : Réseau de sélection d'instances adaptatif
Résumé

Nous présentons une architecture de réseau nommée Adaptive Instance Selection (AdaptIS) pour la segmentation d'instances sans dépendre de la classe. Étant donné une image d'entrée et un point $(x, y)$, ce réseau génère un masque correspondant à l'objet situé en $(x, y)$. Le réseau s'adapte au point d'entrée grâce à des couches AdaIN, permettant ainsi de produire des masques distincts pour des objets différents présents sur la même image. AdaptIS génère des masques d'objets précis au niveau des pixels, ce qui lui confère une grande précision dans la segmentation d'objets de forme complexe ou fortement occlus. AdaptIS peut être facilement intégré à un pipeline standard de segmentation sémantique afin de réaliser une segmentation panoptique. Pour illustrer cette idée, nous menons des expériences sur un problème artificiel difficile impliquant des occlusions complexes. Ensuite, nous évaluons de manière approfondie la méthode sur des benchmarks de segmentation panoptique. Nous obtenons des résultats de pointe sur Cityscapes et Mapillary, même sans pré-entraînement sur COCO, et des résultats compétitifs sur le délicat jeu de données COCO. Le code source de la méthode ainsi que les modèles entraînés sont disponibles à l'adresse suivante : https://github.com/saic-vul/adaptis.