Caractéristiques co-occurentes dans la segmentation sémantique

Les travaux récents ont remporté un grand succès dans l’utilisation des informations contextuelles globales pour la segmentation sémantique, notamment en élargissant le champ réceptif et en agrégeant des représentations hiérarchiques de caractéristiques. Dans cet article, nous allons au-delà du contexte global en explorant une représentation fine à l’aide de caractéristiques co-occurrentes, en introduisant un modèle de caractéristiques co-occurrentes (Co-occurrent Feature Model), qui prédit la distribution des caractéristiques co-occurrentes pour une cible donnée. Pour exploiter le contexte sémantique contenu dans ces caractéristiques co-occurrentes, nous avons conçu un module d’agrégation de caractéristiques co-occurrentes (Aggregated Co-occurrent Feature, ACF), qui combine la probabilité d’une caractéristique co-occurrente avec son contexte co-occurrent. Ce module ACF apprend une représentation fine et invariante spatialement, permettant de capturer efficacement les informations contextuelles co-occurrentes à travers toute la scène. Notre approche améliore significativement les résultats de segmentation obtenus avec un FCN, atteignant des performances supérieures de 54,0 % de mIoU sur le jeu de données Pascal Context, 87,2 % de mIoU sur Pascal VOC 2012 et 44,89 % de mIoU sur ADE20K. Le code source et le système complet seront rendus accessibles au public à la publication de l’article.