Vorhersage der Bodenlevel-Szenenlayout aus Luftbildern

Wir stellen eine neuartige Strategie zur Lernextraktion semantisch bedeutsamer Merkmale aus Luftbildern vor. Anstatt die Luftbilder manuell zu beschriften, schlagen wir vor, (ruidige) semantische Merkmale automatisch aus ko-lokalisieren Bodenbildern zu extrahieren. Unsere Netzarchitektur nimmt ein Luftbild als Eingabe, extrahiert Merkmale mithilfe eines Faltungsneuronalen Netzes (Convolutional Neural Network) und wendet dann eine adaptive Transformation an, um diese Merkmale in die Bodenperspektive zu übertragen. Wir verwenden einen end-to-end-Lernansatz, um den Unterschied zwischen der direkt aus dem Bodenbild extrahierten semantischen Segmentierung und der allein auf Basis des Luftbilds vorhergesagten semantischen Segmentierung zu minimieren. Wir zeigen, dass ein Modell, das mit dieser Strategie gelernt wird und ohne zusätzliche Training, bereits in der Lage ist, eine grobe semantische Beschriftung von Luftbildern durchzuführen. Darüber hinaus demonstrieren wir, dass durch das Feinjustieren dieses Modells eine genauere semantische Segmentierung erreicht werden kann als bei zwei Baseline-Initialisierungsstrategien. Wir nutzen unser Netzwerk zur Lösung der Aufgabe der Schätzung der Geolokation und Geoausrichtung eines Bodenbildes. Schließlich zeigen wir, wie Merkmale, die aus einem Luftbild extrahiert wurden, verwendet werden können, um ein plausibles bodennähes Panorama zu erzeugen (hallucinate).