HyperAIHyperAI

Command Palette

Search for a command to run...

TransforMatcher : attention match-to-match pour la correspondance sémantique

Seungwook Kim Juhong Min Minsu Cho

Résumé

Établir des correspondances entre des images reste une tâche difficile, en particulier en présence de grandes variations d'apparence dues à des points de vue différents ou à des variations intra-classe. Dans ce travail, nous introduisons un modèle d'appariement d'images sémantiquement puissant, nommé TransforMatcher, qui s'appuie sur le succès des réseaux transformer dans les domaines visuels. Contrairement aux approches existantes basées sur la convolution ou l'attention pour les correspondances, TransforMatcher met en œuvre une attention globale « match à match » afin d’obtenir une localisation précise des correspondances et une révision dynamique. Pour gérer un grand nombre de correspondances dans une carte de corrélation dense, nous proposons une architecture d’attention légère permettant de modéliser les interactions globales entre les correspondances. Nous suggérons également d’utiliser une carte de corrélation à plusieurs canaux pour la révision, en traitant les scores de plusieurs niveaux comme des caractéristiques plutôt qu’un seul score, afin d’exploiter pleinement la richesse sémantique à différents niveaux de la hiérarchie. En expérimentation, TransforMatcher établit un nouveau record sur le jeu de données SPair-71k, tout en se montrant compétitif avec les méthodes de pointe existantes sur le jeu de données PF-PASCAL.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp