LightGlue: Lokale Merkmalsabgleichung mit Lichtgeschwindigkeit

Wir stellen LightGlue vor, ein tiefes neuronales Netzwerk, das gelernt hat, lokale Merkmale über Bilder hinweg zu verbinden. Wir überarbeiten mehrere Designentscheidungen von SuperGlue, dem aktuellen Stand der Technik im Bereich der dünnbesetzten Matching-Methoden, und leiten einfache aber effektive Verbesserungen ab. Insgesamt machen diese Verbesserungen LightGlue effizienter – sowohl in Bezug auf Speicher als auch auf Rechenleistung –, genauer und viel leichter zu trainieren. Eine wesentliche Eigenschaft ist die Anpassungsfähigkeit von LightGlue an die Schwierigkeit des Problems: Die Inferenz ist bei Bildpaaren, die intuitiv leicht zu verbinden sind, zum Beispiel aufgrund eines größeren visuellen Überlapps oder begrenzter Erscheinungsänderungen, erheblich schneller. Dies eröffnet spannende Perspektiven für die Einsetzung tiefer Matcher in latenzkritischen Anwendungen wie der 3D-Rekonstruktion. Der Code und die trainierten Modelle sind öffentlich verfügbar unter https://github.com/cvg/LightGlue.