Jenseits der Geo-Lokalisierung: Feingranulare Orientierung von Straßenszenenbildern durch Kreuzsichtvergleich mit Satellitenbildern und ergänzenden Materialien

Straßenansichten bieten uns neue Möglichkeiten, verschiedene Orte ferngesteuert zu erkunden. Sorgfältig kalibrierte Straßenansichtsbilder (z.B. Google Street View) können für verschiedene nachgelagerte Aufgaben verwendet werden, wie z.B. Navigation und die Extraktion von Kartenmerkmalen. Da persönliche hochwertige Kameras viel erschwinglicher und tragbarer geworden sind, werden enorme Mengen von von der Öffentlichkeit bereitgestellten Straßenansichtsbildern ins Internet hochgeladen, oft jedoch mit fehlenden oder störenden Sensordaten. Um diesen verborgenen Schatz für den „bereit-zu-verwenden“-Status vorzubereiten, sind die Bestimmung fehlender Standortinformationen und die Ermittlung der Kamerarichtungs winkel zwei gleichwertig wichtige Aufgaben. Neuere Methoden haben bei der Geo-Lokalisierung von Straßenansichtsbildern durch Kreuzsichtvergleich mit einem Pool georeferenzierter Satellitenbilder hohe Leistungen erzielt. Dennoch konzentrieren sich die meisten existierenden Arbeiten mehr auf die Geo-Lokalisierung als auf die Schätzung des Bildorientierungs winkels. In dieser Arbeit betonen wir erneut die Bedeutung der Ermittlung detaillierter Orientierung für Straßenansichtsbilder, definieren das Problem formell und stellen eine Reihe von Bewertungsmaßstäben zur Verfügung, um die Qualität der Orientierungsschätzung zu bewerten. Wir schlagen zwei Methoden vor, um die Granularität der Orientierungsschätzung zu verbessern, wodurch eine Genauigkeit von 82,4 % und 72,3 % erreicht wird für Bilder mit geschätzten Winkelfehlern unter 2 Grad in den Datensätzen CVUSA und CVACT, was einer absoluten Steigerung von 34,9 % und 28,2 % gegenüber früheren Arbeiten entspricht. Die Integration der detaillierten Orientierungsschätzung im Training verbessert auch die Leistung bei der Geo-Lokalisierung, wobei für Tests mit bekannten/unbekannten Orientierungen in den beiden Datensätzen ein Top-1-Rückruf von 95,5 % / 85,5 % und 86,8 % / 80,4 % erreicht wird.