Préconnaissance contextuelle pour la segmentation de scène

Les travaux récents ont largement exploré les dépendances contextuelles afin d'obtenir des résultats de segmentation plus précis. Toutefois, la plupart des approches ne distinguent pas clairement les différents types de dépendances contextuelles, ce qui peut altérer la compréhension de la scène. Dans ce travail, nous supervisons directement l'agrégation des caractéristiques afin de distinguer de manière explicite le contexte intra-classe et le contexte inter-classe. Plus précisément, nous proposons un Préalable Contextuel (Context Prior) supervisé par une perte d’affinité (Affinity Loss). Étant donné une image d’entrée et sa vérité terrain correspondante, la perte d’affinité construit une carte d’affinité idéale pour guider l’apprentissage du Préalable Contextuel. Ce dernier extrait les pixels appartenant à la même catégorie, tandis que le prédicteur inversé met l’accent sur les pixels provenant de classes différentes. Intégré à un réseau convolutif profond classique, le nouveau bloc de Préalable Contextuel permet de capturer sélectivement les dépendances contextuelles intra-classe et inter-classe, conduisant à une représentation de caractéristiques robuste. Pour valider l’efficacité de cette approche, nous avons conçu un réseau efficace appelé CPNet (Context Prior Network). Des évaluations quantitatives et qualitatives étendues démontrent que le modèle proposé se distingue favorablement des méthodes de segmentation sémantique les plus avancées. Plus précisément, notre algorithme atteint un mIoU de 46,3 % sur ADE20K, 53,9 % sur PASCAL-Context et 81,3 % sur Cityscapes. Le code source est disponible à l’adresse suivante : https://git.io/ContextPrior.