La correspondance sémantique comme un problème de transport optimal

Établir des correspondances denses entre des images sémantiquement similaires est une tâche difficile. En raison des grandes variations intra-classe et du bruit de fond, deux problèmes courants apparaissent dans les approches actuelles. Premièrement, de nombreux pixels d’une image source sont assignés à un seul pixel cible, ce qui correspond à une correspondance « plusieurs vers un ». Deuxièmement, certains pixels d’objets sont attribués à des pixels de fond, ce qui constitue une « correspondance de fond ». Nous résolvons le premier problème grâce à une correspondance basée sur des caractéristiques globales, qui maximise les corrélations totales de correspondance entre les images afin d’obtenir une matrice de correspondance globalement optimale. Des contraintes sur la somme des lignes et des colonnes sont imposées à cette matrice pour favoriser une solution équilibrée, supprimant ainsi efficacement la correspondance « plusieurs vers un ». Pour résoudre le second problème, nous appliquons une fonction en escalier aux cartes d’activation de classe afin de réattribuer les poids des pixels en quatre niveaux distincts, allant du premier plan au fond. L’ensemble de la procédure est intégré dans un algorithme d’optimisation de transport optimal unifié, en transformant le problème de maximisation en formulation de transport optimal, tout en incorporant les poids en escalier comme distributions empiriques. L’algorithme proposé atteint des performances de pointe sur quatre jeux de données standard. Notamment, une amélioration relative de 26 % est obtenue sur le grand jeu de données SPair-71k.