Segmentation d'instances par optimisation conjointe des embeddings spatiaux et de la bande passante de clustering

Les méthodes d'instance segmentation les plus avancées actuellement ne sont pas adaptées aux applications en temps réel, telles que la conduite autonome, qui nécessitent des temps d'exécution rapides tout en maintenant une haute précision. Bien que les méthodes basées sur des propositions, largement dominantes aujourd'hui, offrent une grande précision, elles sont lentes et génèrent des masques à une résolution fixe et faible. En revanche, les méthodes sans proposition peuvent générer des masques à haute résolution et sont généralement plus rapides, mais échouent à atteindre le même niveau de précision que les méthodes basées sur des propositions. Dans ce travail, nous proposons une nouvelle fonction de perte de clustering pour l'instance segmentation sans proposition. Cette fonction de perte rapproche les plongements spatiaux des pixels appartenant à la même instance et apprend conjointement un seuil de clustering spécifique à chaque instance, maximisant ainsi le rapport intersection-sur-union du masque d'instance résultant. Lorsqu'elle est combinée avec une architecture rapide, le réseau peut effectuer l'instance segmentation en temps réel tout en conservant une haute précision. Nous évaluons notre méthode sur le benchmark difficile Cityscapes et obtenons des résultats supérieurs (amélioration de 5 % par rapport à Mask R-CNN) à plus de 10 images par seconde sur des images de 2 mégapixels. Le code sera disponible sur https://github.com/davyneven/SpatialEmbeddings .