Deep Relighting Networks für die Manipulation von Bildlichtquellen

Die Manipulation der Lichtquelle gegebener Bilder ist eine interessante und in verschiedenen Anwendungen, wie der Fotografie und Kinoproduktion, nützliche Aufgabe. Bisherige Methoden erfordern oft zusätzliche Informationen wie die geometrische Struktur der Szene, die für die meisten Bilder nicht verfügbar sind. In diesem Artikel formulieren wir die Aufgabe der Einzelbild-Relighting und schlagen ein neuartiges Deep Relighting Network (DRN) mit drei Komponenten vor: 1) Szenenrekonstruktion, die darauf abzielt, die primäre Szenenstruktur mittels eines tiefen Autoencoder-Netzwerks zu erfassen; 2) Schattenprior-Schätzung, um durch adversarische Lernverfahren die Lichtwirkung aus einer neuen Lichtrichtung vorherzusagen; und 3) Re-Renderer, der die primäre Struktur mit der rekonstruierten Schattenansicht kombiniert, um die erforderliche Schätzung unter der Ziellichtquelle zu erzeugen. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode andere Ansätze sowohl qualitativ als auch quantitativ übertrifft. Insbesondere erreichte das vorgeschlagene DRN in der „AIM2020 - Any to one relighting challenge“ der ECCV 2020 Konferenz die beste PSNR-Wert.