SuperGlue: Lernen von Merkmalsabgleich mit Graph Neural Networks

Dieses Papier stellt SuperGlue vor, ein neuronales Netzwerk, das zwei Mengen lokaler Merkmale durch gemeinsames Auffinden von Korrespondenzen und Ablehnung nicht zusammenpassender Punkte verbindet. Zuordnungen werden durch die Lösung eines differenzierbaren Optimal Transport Problems geschätzt, dessen Kosten von einem Graph Neural Network (GNN) vorhergesagt werden. Wir führen einen flexiblen Kontextaggregationsmechanismus auf Basis von Aufmerksamkeit ein, der es SuperGlue ermöglicht, sowohl über die zugrunde liegende 3D-Szene als auch über die Merkmalszuordnungen gleichzeitig zu argumentieren. Im Vergleich zu traditionellen, manuell entworfenen Heuristiken lernt unsere Technik a priori-Informationen über geometrische Transformationen und Regularitäten der 3D-Welt durch end-to-end Training anhand von Bildpaaren. SuperGlue übertrifft andere gelernte Ansätze und erzielt Stand-of-the-Art-Ergebnisse bei der Pose-Schätzung in anspruchsvollen realweltlichen Innen- und Außengeländen. Die vorgeschlagene Methode führt die Zuordnung in Echtzeit auf einer modernen GPU durch und kann problemlos in moderne SfM- oder SLAM-Systeme integriert werden. Der Code und die trainierten Gewichte sind öffentlich verfügbar unter https://github.com/magicleap/SuperGluePretrainedNetwork.