HyperAIHyperAI

Command Palette

Search for a command to run...

EffoVPR: Effektive Nutzung von Grundlagenmodellen für visuelle Ortserkennung

Zusammenfassung

Die Aufgabe der visuellen Ortsidentifikation (Visual Place Recognition, VPR) besteht darin, den Standort eines Abfragebildes aus einer Datenbank geotaggerter Bilder vorherzusagen. Kürzliche Studien zur VPR haben den erheblichen Vorteil hervorgehoben, vortrainierte Grundmodelle wie DINOv2 für die VPR-Aufgabe einzusetzen. Diese Modelle gelten jedoch oft als unzureichend für die VPR, wenn sie nicht zusätzlich an VPR-spezifischen Daten feinabgestimmt werden. In diesem Paper präsentieren wir einen effektiven Ansatz, um das Potenzial eines Grundmodells für die VPR auszuschöpfen. Wir zeigen, dass Merkmale, die aus Selbst-Attention-Schichten extrahiert werden, bereits in einer Zero-Shot-Situation als leistungsstarker Re-Ranker für die VPR fungieren können. Unser Verfahren übertrifft nicht nur frühere Zero-Shot-Ansätze, sondern erzielt zudem Ergebnisse, die mit mehreren überwachten Methoden konkurrieren. Anschließend zeigen wir, dass ein einstufiger Ansatz, der interne ViT-Schichten zur Pooling-Operation nutzt, globale Merkmale erzeugt, die eine state-of-the-art-Leistung erreichen und dabei eine beeindruckende Merkmalskomprimierung bis hin zu 128D ermöglichen. Darüber hinaus vergrößert die Integration unserer lokalen Grundmodellmerkmale für das Re-Ranking diesen Leistungsunterschied weiter. Unser Ansatz demonstriert zudem außergewöhnliche Robustheit und Generalisierbarkeit und erreicht neue state-of-the-art-Ergebnisse, auch unter anspruchsvollen Bedingungen wie Verdeckung, Tages- und Nachtwechsel sowie saisonalen Veränderungen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp