Codage de Contexte pour la Segmentation Sémantique

Des travaux récents ont réalisé des progrès significatifs dans l'amélioration de la résolution spatiale pour l'étiquetage pixel par pixel en utilisant le cadre des Réseaux Neuronaux Convolutifs Complètement (Fully Convolutional Network, FCN) grâce à l'emploi de convolutions dilatées/à trous, à l'utilisation de caractéristiques multi-échelles et au raffinement des contours. Dans cet article, nous explorons l'impact des informations contextuelles globales dans la segmentation sémantique en introduisant le Module d'Encodage du Contexte, qui capture le contexte sémantique des scènes et met en évidence sélectivement les cartes de caractéristiques dépendantes de la classe. Le Module d'Encodage du Contexte proposé améliore considérablement les résultats de segmentation sémantique avec un coût de calcul supplémentaire marginal par rapport au FCN. Notre approche a obtenu de nouveaux résultats d'avant-garde, avec un mIoU de 51,7 % sur PASCAL-Context et un mIoU de 85,9 % sur PASCAL VOC 2012. De plus, notre modèle unique atteint un score final de 0,5567 sur l'ensemble de test ADE20K, surpassant ainsi l'entrée gagnante du défi COCO-Place en 2017. Nous explorons également comment le Module d'Encodage du Contexte peut améliorer la représentation des caractéristiques des réseaux relativement peu profonds pour la classification d'images sur le jeu de données CIFAR-10. Notre réseau à 14 couches a atteint un taux d'erreur de 3,45 %, ce qui est comparable aux approches d'avant-garde ayant plus de 10 fois plus de couches. Le code source complet du système est disponible publiquement.