Dehazing einzelner Bilder für eine Vielzahl von Nebelszenarien unter Verwendung eines zurückprojizierten Pyramiden-Netzwerks

Das Lernen zur Entnebelung einzelner nebliger Bilder, insbesondere bei Verwendung eines kleinen Trainingsdatensatzes, ist äußerst herausfordernd. Wir schlagen eine neuartige Architektur für generative adversarische Netzwerke für dieses Problem vor, namens Back Projected Pyramid Network (BPPNet), die eine hervorragende Leistung bei einer Vielzahl anspruchsvoller Nebelbedingungen erzielt, einschließlich dichter und inhomogener Nebel. Unsere Architektur integriert das Lernen mehrerer Komplexitätsstufen, während sie durch iterative Blöcke von UNets den räumlichen Kontext bewahrt und durch einen neuartigen pyramidalen Faltungsblok die strukturellen Informationen mehrerer Skalen erfasst. Diese Blöcke zusammen bilden den Generator und eignen sich besonders gut für das Lernen mittels Rückprojektion. Wir zeigen, dass unser Netzwerk bereits mit lediglich 20 Bildpaaren aus nebligen und klareren Bildern ohne Überanpassung trainiert werden kann. Wir berichten über die aktuell besten Ergebnisse auf den NTIRE 2018-Datensätzen für homogenen Nebel (für Innen- und Außenbilder), dem NTIRE 2019-Datensatz für dichten Nebel sowie dem NTIRE 2020-Datensatz für inhomogenen Nebel.