Command Palette
Search for a command to run...
COTR : Correspondance Transformer pour le Matching Inter-Images
COTR : Correspondance Transformer pour le Matching Inter-Images
Jiang Wei ; Trulls Eduard ; Hosang Jan ; Tagliasacchi Andrea ; Yi Kwang Moo
Résumé
Nous proposons un cadre novateur pour la détection de correspondances dans les images, basé sur un réseau neuronal profond qui, étant donné deux images et un point d'intérêt dans l'une d'elles, trouve sa correspondance dans l'autre. Cette approche offre la possibilité de ne requêter que les points d'intérêt pour obtenir des correspondances éparse, ou de requêter tous les points d'une image pour obtenir des cartographies denses. Il est important de noter que, afin de capturer à la fois des a priori locaux et globaux, et de permettre à notre modèle de faire le lien entre les régions d'image en utilisant les a priori les plus pertinents, nous avons mis en œuvre notre réseau sous forme de transformateur. Au moment de l'inférence, nous appliquons notre réseau de correspondance en effectuant une zoom récursif autour des estimations, ce qui donne lieu à une pipeline multi-échelle capable de fournir des correspondances très précises. Notre méthode surpasse significativement l'état de l'art pour les problèmes de correspondances éparse et dense sur plusieurs jeux de données et tâches, allant du stéréo large-baseline (wide-baseline stereo) à l'écoulement optique (optical flow), sans aucun réentraînement pour un jeu de données spécifique. Nous nous engageons à publier les données, le code et tous les outils nécessaires pour entraîner le modèle depuis zéro et garantir la reproductibilité.