HyperAIHyperAI

Command Palette

Search for a command to run...

La correspondance sémantique comme un problème de transport optimal

Yi Yang Makoto Yamada Linchao Zhu Yanbin Liu

Résumé

Établir des correspondances denses entre des images sémantiquement similaires est une tâche difficile. En raison des grandes variations intra-classe et du bruit de fond, deux problèmes courants apparaissent dans les approches actuelles. Premièrement, de nombreux pixels d’une image source sont assignés à un seul pixel cible, ce qui correspond à une correspondance « plusieurs vers un ». Deuxièmement, certains pixels d’objets sont attribués à des pixels de fond, ce qui constitue une « correspondance de fond ». Nous résolvons le premier problème grâce à une correspondance basée sur des caractéristiques globales, qui maximise les corrélations totales de correspondance entre les images afin d’obtenir une matrice de correspondance globalement optimale. Des contraintes sur la somme des lignes et des colonnes sont imposées à cette matrice pour favoriser une solution équilibrée, supprimant ainsi efficacement la correspondance « plusieurs vers un ». Pour résoudre le second problème, nous appliquons une fonction en escalier aux cartes d’activation de classe afin de réattribuer les poids des pixels en quatre niveaux distincts, allant du premier plan au fond. L’ensemble de la procédure est intégré dans un algorithme d’optimisation de transport optimal unifié, en transformant le problème de maximisation en formulation de transport optimal, tout en incorporant les poids en escalier comme distributions empiriques. L’algorithme proposé atteint des performances de pointe sur quatre jeux de données standard. Notamment, une amélioration relative de 26 % est obtenue sur le grand jeu de données SPair-71k.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
La correspondance sémantique comme un problème de transport optimal | Articles | HyperAI