Caractéristiques de contexte contrastées et agrégation multi-échelle à porte pour la segmentation de scènes

La segmentation d’images constitue une tâche difficile, car elle exige l’étiquetage de chaque pixel de l’image. Il est crucial d’exploiter efficacement le contexte discriminant et de regrouper des caractéristiques multi-échelles afin d’obtenir une segmentation de meilleure qualité. Dans cet article, nous proposons tout d’abord une nouvelle caractéristique locale contrastée par le contexte, qui non seulement tire parti du contexte informatif, mais met également en évidence les informations locales en les contrastant avec le contexte global. Cette caractéristique locale contrastée par le contexte améliore considérablement les performances de traitement, en particulier pour les objets peu visibles et les éléments de fond. Par ailleurs, nous introduisons une méthode de somme à portes (gated sum) permettant d’agréger de manière sélective les caractéristiques multi-échelles à chaque position spatiale. Les portes de cette approche contrôlent le flux d’information des caractéristiques issues de différentes échelles. Leurs valeurs sont générées à partir de l’image de test par le réseau appris à partir des données d’entraînement, ce qui rend la méthode adaptative non seulement aux données d’entraînement, mais aussi à l’image de test spécifique. Sans recourir à des ajouts superflus, la méthode proposée atteint de manière cohérente l’état de l’art sur les trois jeux de données populaires de segmentation scènes : Pascal Context, SUN-RGBD et COCO Stuff.