HyperAIHyperAI

Command Palette

Search for a command to run...

LoFTR: Lokale Merkmalsabgleichung ohne Detektoren mit Transformers

Jiaming Sun extsuperscript1,2 extsuperscript* Zehong Shen extsuperscript1 extsuperscript* Yuang Wang extsuperscript1 extsuperscript* Hujun Bao extsuperscript1 Xiaowei Zhou extsuperscript1 extsuperscript†

Zusammenfassung

Wir präsentieren eine neuartige Methode für die lokale Bildmerkmalsabgleichung. Anstelle der sequenziellen Durchführung von Bildmerkmaldetektion, -beschreibung und -abgleichung schlagen wir vor, zunächst pixelweise dichte Abgleichungen auf einer groben Ebene herzustellen und diese später auf einer feinen Ebene zu verfeinern. Im Gegensatz zu dichten Methoden, die ein Kostenvolumen verwenden, um Korrespondenzen zu suchen, nutzen wir Selbst- und Kreuz-Aufmerksamkeitschichten (self and cross attention layers) in einem Transformer, um Merkmalsdeskriptoren zu erzeugen, die anhand beider Bilder konditioniert sind. Das globale Rezeptivfeld, das der Transformer bereitstellt, ermöglicht es unserer Methode, dichte Abgleichungen in Bereichen mit geringer Textur zu erzeugen, wo Merkmaldetektoren normalerweise Schwierigkeiten haben, wiederholbare Interessenspunkte zu produzieren. Experimente mit indoor- und outdoor-Datensätzen zeigen, dass LoFTR deutlich bessere Ergebnisse als state-of-the-art-Methoden erzielt. LoFTR rangiert zudem bei zwei öffentlichen Benchmarks für visuelle Lokalisierung unter den veröffentlichten Methoden auf dem ersten Platz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp