Segmentation sémantique semi-supervisée avec cohérence de haut et bas niveaux

La capacité à comprendre l'information visuelle à partir de données étiquetées limitées est un aspect important de l'apprentissage automatique. Bien que la classification au niveau des images ait été largement étudiée dans un cadre semi-supervisé, la classification dense au niveau des pixels avec des données limitées n'a attiré l'attention que récemment. Dans ce travail, nous proposons une approche pour la segmentation sémantique semi-supervisée qui apprend à partir d'échantillons annotés pixel par pixel limités tout en exploitant des images supplémentaires non annotées. Cette méthode utilise deux branches de réseau qui relient la classification semi-supervisée à la segmentation semi-supervisée, y compris l'auto-apprentissage (self-training). L'approche à double branche réduit les artefacts de bas et de haut niveau typiques lors de l'entraînement avec peu d'étiquettes. Elle obtient une amélioration significative par rapport aux méthodes existantes, en particulier lorsqu'elle est entraînée avec très peu d'échantillons étiquetés. Sur plusieurs benchmarks standards - PASCAL VOC 2012, PASCAL-Context et Cityscapes - cette approche atteint de nouveaux résultats d'avant-garde en apprentissage semi-supervisé.