Deep Single-Image Portrait Relighting

Herkömmliche, physikalisch basierte Methoden zur Neubeleuchtung von Porträtfotos erfordern die Lösung eines inversen Rendering-Problems, bei dem Gesichtsgeometrie, Reflexionseigenschaften und Beleuchtung geschätzt werden müssen. Eine ungenaue Schätzung der Gesichtsbestandteile kann jedoch starke Artefakte bei der Neubeleuchtung verursachen, was zu unzufriedenstellenden Ergebnissen führt. In dieser Arbeit wenden wir eine physikalisch basierte Methode zur Neubeleuchtung von Porträts an, um eine große, hochwertige, „in the wild“-Datensammlung für die Neubeleuchtung von Porträts (DPR) zu erstellen. Anschließend wird ein tiefes Faltungsneuronales Netzwerk (CNN) mit dieser Datensammlung trainiert, um ein neu beleuchtetes Porträtbild aus einem Quellbild und einer Zielbeleuchtung als Eingabe zu generieren. Der Trainingsprozess regularisiert die generierten Ergebnisse und beseitigt die durch physikalisch basierte Neubeleuchtungsmethoden verursachten Artefakte. Zusätzlich wird eine GAN-Verlustfunktion eingesetzt, um die Qualität des neu beleuchteten Porträts weiter zu verbessern. Das trainierte Netzwerk kann Porträts mit Auflösungen bis zu 1024 × 1024 neu beleuchten. Wir evaluieren die vorgeschlagene Methode sowohl qualitativ als auch quantitativ auf der selbst vorgestellten DPR-Datensammlung, der Flickr-Porträt-Datensammlung sowie der Multi-PIE-Datensammlung. Unsere Experimente zeigen, dass die vorgeschlagene Methode Ergebnisse auf aktuellem Stand der Technik erreicht. Weitere Informationen zur Datensammlung und zum Code finden Sie unter https://zhhoper.github.io/dpr.html.