HyperAIHyperAI

Command Palette

Search for a command to run...

Wo auf der Welt ist dieses Bild? Geo-Lokalisierung in der Wildnis mit Transformer-basierten Methoden

Shraman Pramanick Ewa M. Nowara Joshua Gleason Carlos D. Castillo Rama Chellappa

Zusammenfassung

Die Vorhersage der geografischen Lage (Geo-Lokalisierung) aus einem einzelnen Bodenbild (ground-level RGB image), das irgendwo auf der Welt aufgenommen wurde, ist ein sehr anspruchsvolles Problem. Die Herausforderungen umfassen die enorme Vielfalt von Bildern aufgrund verschiedener Umweltbedingungen, erhebliche Änderungen im Erscheinungsbild des gleichen Ortes je nach Tageszeit, Wetter, Jahreszeit und vor allem die Tatsache, dass die Vorhersage auf Basis eines einzigen Bildes getroffen wird, das möglicherweise nur wenige geo-lokale Hinweise enthält. Aus diesen Gründen sind die meisten bestehenden Arbeiten auf spezifische Städte, Bilder oder weltweite Sehenswürdigkeiten beschränkt. In dieser Arbeit konzentrieren wir uns darauf, eine effiziente Lösung für die Geo-Lokalisierung von Planetenskalierung mit einem einzelnen Bild zu entwickeln. Zu diesem Zweck schlagen wir TransLocator vor, ein vereintes Doppelsystem (dual-branch transformer network), das sich auf winzige Details im gesamten Bild konzentriert und unter extremen Erscheinungsunterschieden robuste Merkmalsrepräsentationen erzeugt. TransLocator verwendet ein RGB-Bild und dessen semantische Segmentierungsabbildung als Eingaben, interagiert zwischen seinen beiden parallelen Zweigen nach jeder Transformer-Schicht und führt gleichzeitig Geo-Lokalisierung und Szenerkennung in einem Multi-Task-Ansatz durch. Wir evaluieren TransLocator anhand vier Benchmark-Datensätze – Im2GPS, Im2GPS3k, YFCC4k und YFCC26k – und erreichen dabei Verbesserungen der Kontinent-Level-Akkuranz um 5,5 %, 14,1 %, 4,9 % und 9,9 % im Vergleich zum Stand der Technik. TransLocator wird auch anhand realer Testbilder validiert und als effektiver als frühere Methoden eingestuft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp