Segmentation Sémantique Semi-Supervisée Universelle

Ces dernières années, le besoin de segmentation sémantique est apparu dans plusieurs applications et environnements différents. Cependant, les coûts élevés et la redondance des annotations limitent souvent la quantité de labels disponibles pour l'entraînement dans n'importe quel domaine, tandis que le déploiement est plus facile si un seul modèle fonctionne bien à travers tous les domaines. Dans cet article, nous abordons le problème novateur de la segmentation sémantique semi-supervisée universelle et proposons un cadre de solution pour répondre aux deux besoins de réduire les coûts d'annotation et de déploiement. Contrairement aux approches alternatives telles que le réglage fin, l'entraînement conjoint ou l'adaptation non supervisée de domaine, la segmentation sémantique semi-supervisée universelle garantit que dans tous les domaines : (i) un seul modèle est déployé, (ii) des données non étiquetées sont utilisées, (iii) les performances sont améliorées, (iv) seuls quelques labels sont nécessaires et (v) les espaces d'étiquettes peuvent différer. Pour y parvenir, nous minimisons non seulement les pertes supervisées mais aussi les pertes non supervisées intra-domaine et inter-domaine, en introduisant un objectif d'alignement des caractéristiques basé sur une régularisation entropique sensible aux pixels pour ce dernier. Nous démontrons des avantages quantitatifs par rapport aux autres approches sur plusieurs combinaisons de jeux de données de segmentation provenant de différentes géographies (Allemagne, Angleterre, Inde) et environnements (extérieurs, intérieurs), ainsi que des observations qualitatives sur les représentations alignées.