LoFTR : Appariement de Caractéristiques Locales sans Détecteur avec des Transformers

Nous présentons une nouvelle méthode pour le correspondance de caractéristiques locales d'images. Au lieu d'effectuer la détection, la description et l'appariement des caractéristiques d'images de manière séquentielle, nous proposons d'établir en premier lieu des correspondances denses au niveau des pixels à un niveau grossier, puis de raffiner les bonnes correspondances à un niveau fin. Contrairement aux méthodes denses qui utilisent un volume de coût pour rechercher les correspondances, nous utilisons des couches d'auto-attention et de co-attention dans le cadre du modèle Transformer pour obtenir des descripteurs de caractéristiques conditionnés par les deux images. Le champ récepteur global fourni par le Transformer permet à notre méthode de produire des correspondances denses dans les zones faiblement texturées, où les détecteurs de caractéristiques ont généralement du mal à produire des points d'intérêt répétables. Les expériences menées sur des jeux de données intérieurs et extérieurs montrent que LoFTR surpasse largement les méthodes de pointe actuelles. LoFTR occupe également la première place sur deux benchmarks publics de localisation visuelle parmi les méthodes publiées.