Kreuzsichtbildsynthese unter Verwendung geometriegeleiteter bedingter GANs

Wir adressieren das Problem der Bildgenerierung zwischen zwei stark unterschiedlichen Ansichten, nämlich der Bodenansicht (Straße) und der Luftbildansicht (über dem Kopf). Die Bildsynthese ist an sich eine sehr herausfordernde Aufgabe im Bereich der Computer Vision und wird noch schwieriger, wenn die Generierung auf einem Bild aus einer anderen Ansicht konditioniert ist. Aufgrund der Unterschiede in den Blickwinkeln gibt es einen geringen überlappenden Sichtbereich und wenig gemeinsamen Inhalt zwischen diesen beiden Ansichten. Hierbei versuchen wir, die Pixelinformationen zwischen den Ansichten zu erhalten, sodass das generierte Bild eine realistische Darstellung des Eingabebildes aus einer anderen Ansicht darstellt. Dafür schlagen wir vor, Homographie als Leitlinie zu verwenden, um die Bilder basierend auf dem gemeinsamen Sichtbereich zwischen den Ansichten abzubilden und die Details im Eingabebild zu bewahren. Anschließend nutzen wir generative adversarische Netze, um die fehlenden Bereiche im transformierten Bild zu ergänzen und Realismus hinzuzufügen. Unsere umfassende Evaluation und Modellvergleiche zeigen, dass die Nutzung geometrischer Restriktionen feine Details zu den generierten Bildern hinzufügt und ein besseres Vorgehen für die Kreuzansichtsbildsynthese sein kann als rein pixelbasierte Synthesemethoden.