Segmentation sémantique semi-supervisée avec apprentissage contrastif au niveau des pixels à partir d'une mémoire par classe

Ce travail présente une nouvelle approche pour la segmentation sémantique semi-supervisée. L'élément clé de cette méthode est notre module d'apprentissage contrastif, qui impose au réseau de segmentation de produire des représentations de caractéristiques au niveau des pixels similaires pour les échantillons de même classe à travers l'ensemble du jeu de données. Pour y parvenir, nous maintenons une mémoire dynamique, mise à jour en continu avec des vecteurs de caractéristiques pertinents et de haute qualité provenant des données étiquetées. Lors d’un entraînement end-to-end, les caractéristiques issues à la fois des données étiquetées et non étiquetées sont optimisées afin de ressembler aux échantillons de même classe présents dans la mémoire. Notre approche dépasse l’état de l’art actuel pour la segmentation sémantique semi-supervisée ainsi que pour l’adaptation de domaine semi-supervisée sur des benchmarks publics bien connus, avec des améliorations plus marquées dans les scénarios les plus difficiles, notamment lorsque les données étiquetées sont très limitées. https://github.com/Shathe/SemiSeg-Contrastive