Wo auf der Welt ist dieses Bild? Geo-Lokalisierung in der Wildnis mit Transformer-basierten Methoden

Die Vorhersage der geografischen Lage (Geo-Lokalisierung) aus einem einzelnen Bodenbild (ground-level RGB image), das irgendwo auf der Welt aufgenommen wurde, ist ein sehr anspruchsvolles Problem. Die Herausforderungen umfassen die enorme Vielfalt von Bildern aufgrund verschiedener Umweltbedingungen, erhebliche Änderungen im Erscheinungsbild des gleichen Ortes je nach Tageszeit, Wetter, Jahreszeit und vor allem die Tatsache, dass die Vorhersage auf Basis eines einzigen Bildes getroffen wird, das möglicherweise nur wenige geo-lokale Hinweise enthält. Aus diesen Gründen sind die meisten bestehenden Arbeiten auf spezifische Städte, Bilder oder weltweite Sehenswürdigkeiten beschränkt. In dieser Arbeit konzentrieren wir uns darauf, eine effiziente Lösung für die Geo-Lokalisierung von Planetenskalierung mit einem einzelnen Bild zu entwickeln. Zu diesem Zweck schlagen wir TransLocator vor, ein vereintes Doppelsystem (dual-branch transformer network), das sich auf winzige Details im gesamten Bild konzentriert und unter extremen Erscheinungsunterschieden robuste Merkmalsrepräsentationen erzeugt. TransLocator verwendet ein RGB-Bild und dessen semantische Segmentierungsabbildung als Eingaben, interagiert zwischen seinen beiden parallelen Zweigen nach jeder Transformer-Schicht und führt gleichzeitig Geo-Lokalisierung und Szenerkennung in einem Multi-Task-Ansatz durch. Wir evaluieren TransLocator anhand vier Benchmark-Datensätze – Im2GPS, Im2GPS3k, YFCC4k und YFCC26k – und erreichen dabei Verbesserungen der Kontinent-Level-Akkuranz um 5,5 %, 14,1 %, 4,9 % und 9,9 % im Vergleich zum Stand der Technik. TransLocator wird auch anhand realer Testbilder validiert und als effektiver als frühere Methoden eingestuft.