Segmentation sémantique semi-supervisée avec supervision pseudo-croisée

Dans cet article, nous étudions le problème de la segmentation sémantique semi-supervisée en exploitant à la fois les données étiquetées et des données supplémentaires non étiquetées. Nous proposons une nouvelle approche de régularisation par consistance, appelée supervision pseudo croisée (Cross Pseudo Supervision, CPS). Notre méthode impose une consistance entre deux réseaux de segmentation perturbés par des initialisations différentes, pour la même image d'entrée. La carte d'étiquettes pseudo-one-hot, produite par l'un des deux réseaux perturbés, sert à superviser l'autre réseau via la perte d'entropie croisée standard, et réciproquement. La régularisation CPS joue deux rôles : favoriser une forte similarité entre les prédictions des deux réseaux perturbés pour une même image d'entrée, et élargir l'ensemble d'apprentissage en utilisant les données non étiquetées grâce à des étiquettes pseudo. Les résultats expérimentaux montrent que notre approche atteint des performances de segmentation semi-supervisée de pointe sur les jeux de données Cityscapes et PASCAL VOC 2012. Le code source est disponible à l'adresse suivante : https://git.io/CPS.