Calibration conjointe pour la segmentation sémantique

La segmentation sémantique est la tâche qui consiste à attribuer une étiquette de classe à chaque pixel d'une image. Nous proposons un cadre de segmentation sémantique basé sur les régions, capable de gérer à la fois une supervision complète et une supervision faible, et qui aborde trois problèmes courants : (1) Les objets apparaissent à différentes échelles, il est donc nécessaire d'utiliser des régions à plusieurs échelles. Cependant, ces régions se chevauchent, ce qui entraîne des prédictions de classe contradictoires au niveau du pixel. (2) Les fréquences de classe sont fortement déséquilibrées dans les jeux de données réalistes. (3) Chaque pixel ne peut être affecté qu'à une seule classe, ce qui crée une concurrence entre les classes. Nous résolvons ces trois problèmes grâce à une méthode de calibration conjointe qui optimise une perte multi-classe définie sur l'étiquetage final au niveau du pixel, contrairement à une simple classification de région. Notre méthode surpassent l'état de l'art sur le jeu de données populaire SIFT Flow [18], tant dans le contexte de supervision complète que dans celui de supervision faible, avec une marge considérable (+6 % et +10 % respectivement).