CorrMatch : Propagation de labels par correspondance de corrélation pour la segmentation sémantique semi-supervisée

Cet article présente une approche simple mais performante de segmentation sémantique semi-supervisée, appelée CorrMatch. Les approches antérieures s’appuient principalement sur des stratégies d’entraînement complexes pour exploiter les données non étiquetées, tout en négligeant le rôle des cartes de corrélation dans la modélisation des relations entre paires de positions. Nous observons que ces cartes de corrélation permettent non seulement de regrouper facilement les pixels appartenant à la même catégorie, mais contiennent également des informations de forme précieuses, souvent ignorées dans les travaux antérieurs. Inspirés par ces observations, nous visons à améliorer l’efficacité d’utilisation des données non étiquetées en proposant deux nouvelles stratégies de propagation d’étiquettes. Premièrement, nous proposons de réaliser la propagation par pixel en modélisant les similarités entre paires de pixels, afin de diffuser les pixels à forte confiance et d’en révéler davantage. Deuxièmement, nous effectuons une propagation par région pour renforcer les étiquettes pseudo-étiquetées à l’aide de masques class-agnostic précis extraits des cartes de corrélation. CorrMatch atteint des performances remarquables sur des benchmarks populaires de segmentation. En prenant comme modèle de segmentation DeepLabV3+ avec un backbone ResNet-101, nous obtenons un score mIoU supérieur à 76 % sur le jeu de données Pascal VOC 2012, avec seulement 92 images annotées. Le code est disponible à l’adresse suivante : https://github.com/BBBBchan/CorrMatch.