HyperAIHyperAI

Command Palette

Search for a command to run...

RoMa: Robuste dichte Merkmalsabgleichung

Johan Edstedt Qiyu Sun Georg Bökman Mårten Wadenbäck Michael Felsberg

Zusammenfassung

Die Merkmalszuordnung (Feature Matching) ist eine wichtige Aufgabe im Bereich der Computer Vision, die das Schätzen von Korrespondenzen zwischen zwei Bildern einer 3D-Szene umfasst. Dichte Methoden schätzen alle dieserartigen Korrespondenzen. Das Ziel besteht darin, ein robustes Modell zu erlernen, d.h., ein Modell, das unter herausfordernden realweltlichen Veränderungen zuordnen kann. In dieser Arbeit schlagen wir ein solches Modell vor, das gefrorene vortrainierte Merkmale des Fundamentmodells DINOv2 nutzt. Obwohl diese Merkmale erheblich robuster sind als lokal aus dem Grund trainierte Merkmale, sind sie in ihrer Natur grob. Wir kombinieren sie daher mit spezialisierten ConvNet-Fine-Merkmalen und erstellen so eine präzise lokalisierbare Merkmalspyramide. Um die Robustheit weiter zu verbessern, schlagen wir einen angepassten Transformer-Match-Decoder vor, der Ankerwahrscheinlichkeiten vorhersagt und dadurch die Ausdrucksfähigkeit für Multimodalität ermöglicht. Abschließend schlagen wir eine verbesserte Verlustfunktion durch Klassifikation zur Regression mit anschließender robusten Regression vor. Wir führen umfangreiche Experimente durch, die zeigen, dass unsere Methode RoMa erhebliche Verbesserungen erreicht und einen neuen Stand der Technik (state-of-the-art) setzt. Insbesondere erreichen wir eine Verbesserung von 36 % beim extrem anspruchsvollen WxBS-Benchmark. Der Quellcode ist unter https://github.com/Parskatt/RoMa verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp