RoMa: Robuste dichte Merkmalsabgleichung

Die Merkmalszuordnung (Feature Matching) ist eine wichtige Aufgabe im Bereich der Computer Vision, die das Schätzen von Korrespondenzen zwischen zwei Bildern einer 3D-Szene umfasst. Dichte Methoden schätzen alle dieserartigen Korrespondenzen. Das Ziel besteht darin, ein robustes Modell zu erlernen, d.h., ein Modell, das unter herausfordernden realweltlichen Veränderungen zuordnen kann. In dieser Arbeit schlagen wir ein solches Modell vor, das gefrorene vortrainierte Merkmale des Fundamentmodells DINOv2 nutzt. Obwohl diese Merkmale erheblich robuster sind als lokal aus dem Grund trainierte Merkmale, sind sie in ihrer Natur grob. Wir kombinieren sie daher mit spezialisierten ConvNet-Fine-Merkmalen und erstellen so eine präzise lokalisierbare Merkmalspyramide. Um die Robustheit weiter zu verbessern, schlagen wir einen angepassten Transformer-Match-Decoder vor, der Ankerwahrscheinlichkeiten vorhersagt und dadurch die Ausdrucksfähigkeit für Multimodalität ermöglicht. Abschließend schlagen wir eine verbesserte Verlustfunktion durch Klassifikation zur Regression mit anschließender robusten Regression vor. Wir führen umfangreiche Experimente durch, die zeigen, dass unsere Methode RoMa erhebliche Verbesserungen erreicht und einen neuen Stand der Technik (state-of-the-art) setzt. Insbesondere erreichen wir eine Verbesserung von 36 % beim extrem anspruchsvollen WxBS-Benchmark. Der Quellcode ist unter https://github.com/Parskatt/RoMa verfügbar.