GMTR : Transformers pour le matching de graphes

Les transformateurs d’images (Vision Transformers, ViTs) ont récemment été employés pour la correspondance visuelle au-delà de la détection d’objets et de la segmentation. Toutefois, la stratégie initiale de découpage en grille utilisée par les ViTs ignore l’information spatiale des points clés, ce qui limite leur sensibilité aux informations locales. Ainsi, nous proposons QueryTrans (Query Transformer), une architecture basée sur un module d’attention croisée et une stratégie de recadrage centrée sur les points clés, afin d’améliorer l’extraction d’informations spatiales. Nous intégrons par ailleurs un module d’attention sur graphe et proposons une méthode de correspondance de graphes fondée sur les transformateurs, nommée GMTR (Graph Matching TRansformers), dans laquelle la nature combinatoire du problème de correspondance de graphes (GM) est traitée par un solveur neuronal basé sur les transformateurs de graphe. Sur des benchmarks standards de correspondance de graphes, GMTR atteint des performances compétitives par rapport aux architectures de pointe (SOTA). Plus précisément, sur Pascal VOC, GMTR obtient une précision de $\mathbf{83,6\%}$, soit $\mathbf{0,9\%}$ de plus que l’état de l’art. Sur Spair-71k, GMTR démontre un grand potentiel et surpasser la majorité des méthodes antérieures. Par ailleurs, sur Pascal VOC, QueryTrans améliore la précision de NGMv2 de $80,1\%$ à $\mathbf{83,3\%}$, et celle de BBGM de $79,0\%$ à $\mathbf{84,5\%}$. Sur Spair-71k, QueryTrans améliore NGMv2 de $80,6\%$ à $\mathbf{82,5\%}$, et BBGM de $82,1\%$ à $\mathbf{83,9\%}$. Le code source sera rendu publiquement disponible.