Orientierungsgeleitetes kontrastives Lernen für die Geo-Lokalisierung von UAV-Aufnahmen

Die Retrieval von relevantem Multimedia-Inhalt ist eines der Hauptprobleme in einer zunehmend datengetriebenen Welt. Mit der Verbreitung von Drohnen ist hochwertiges Luftbildmaterial erstmals einem breiten Publikum zugänglich geworden. Die Integration dieses Materials in Anwendungen kann GPS-freie Geo-Lokalisierung oder Standortkorrektur ermöglichen.In dieser Arbeit stellen wir ein orientierungsgeleitetes Trainingsframework für die Geo-Lokalisierung aus UAV-Sicht (Unmanned Aerial Vehicle) vor. Durch hierarchische Lokalisierung werden die Orientierungen der UAV-Bilder im Verhältnis zu Satellitenbildern geschätzt. Wir schlagen ein leichtgewichtiges Vorhersagemodul für diese Pseudolabels vor, das die Orientierung zwischen den verschiedenen Ansichten auf Grundlage kontrastiv gelernter Einbettungen (embeddings) voraussagt. Experimentelle Ergebnisse zeigen, dass diese Vorhersage das Training unterstützt und frühere Ansätze übertrifft. Die extrahierten Pseudolabels ermöglichen zudem eine ausgerichtete Drehung des Satellitenbildes als Data Augmentation, um die Generalisierung weiter zu stärken. Während der Inferenz benötigen wir dieses Orientierungsmodul nicht mehr, was bedeutet, dass keine zusätzlichen Berechnungen erforderlich sind. Auf den Datensätzen University-1652 und University-160k erzielen wir Stand-of-the-Art-Ergebnisse.