GuidedMix-Net : Apprendre à améliorer les masques pseudo en utilisant des images étiquetées comme référence

L'apprentissage semi-supervisé constitue un problème difficile visant à construire un modèle à partir d’un nombre limité d’exemples étiquetés. De nombreuses méthodes ont été proposées pour aborder ce défi, la plupart se concentrant sur l’utilisation de la cohérence des prédictions des instances non étiquetées afin de régulariser les réseaux. Toutefois, le traitement séparé des données étiquetées et non étiquetées conduit souvent à l’abandon d’une grande quantité de connaissances a priori acquises à partir des exemples étiquetés, ainsi qu’à une incapacité à exploiter les interactions entre les caractéristiques des paires d’images étiquetées et non étiquetées. Dans cet article, nous proposons une nouvelle méthode pour la segmentation sémantique semi-supervisée, nommée GuidedMix-Net, en exploitant l’information des données étiquetées pour guider l’apprentissage des instances non étiquetées. Plus précisément, nous introduisons tout d’abord un objectif d’alignement des caractéristiques entre les données étiquetées et non étiquetées afin de repérer potentiellement des paires d’images similaires, puis nous générons des entrées mixtes à partir de ces paires. La méthode proposée, appelée transfert d’information mutuelle (MITrans), fondée sur l’hypothèse de regroupement (cluster assumption), s’avère être un module puissant pour affiner progressivement les caractéristiques des données non étiquetées dans l’espace des données mixtes. Afin d’exploiter pleinement les exemples étiquetés et de guider l’apprentissage des données non étiquetées, nous proposons également un module de génération de masques pour produire des pseudo-masques de haute qualité pour les données non étiquetées. En complément de l’apprentissage supervisé sur les données étiquetées, les prédictions des données non étiquetées sont apprises conjointement avec les pseudo-masques générés à partir des données mixtes. Des expériences étendues sur les jeux de données PASCAL VOC 2012, PASCAL-Context et Cityscapes démontrent l’efficacité de notre approche GuidedMix-Net, qui atteint une précision de segmentation compétitive et améliore significativement le mIoU de +7 % par rapport aux méthodes de l’état de l’art précédentes.