WDRN: Ein Wellenlettdeskomponierter RelightNet für die Bildrelighting

Die Aufgabe, die Beleuchtungseinstellungen eines Bildes auf eine vorgegebene Zielkonfiguration neu zu kalibrieren, wird als Relighting bezeichnet. Relighting-Techniken besitzen ein großes Anwendungspotenzial in der digitalen Fotografie, der Spieleindustrie sowie im Bereich der erweiterten Realität (Augmented Reality). In diesem Artikel behandeln wir das ein-zu-eins-Relighting-Problem, bei dem ein Bild unter bestimmten Zielbeleuchtungsbedingungen vorhergesagt wird, ausgehend von einem Eingabebild mit spezifischen Beleuchtungsbedingungen. Dazu stellen wir ein neuartiges Wellenfeld-dekomponiertes RelightNet namens WDRN vor, ein innovatives Encoder-Decoder-Netzwerk, das eine wellenbasierte Zerlegung unter einem mehrskaligen Rahmen mit anschließenden Faltungsoperationen kombiniert. Außerdem führen wir eine neue Verlustfunktion namens Gray Loss ein, die eine effiziente Lernung der Gradienten in der Beleuchtung entlang verschiedener Richtungen des Referenzbildes gewährleistet und somit visuell überlegene relighted Bilder erzeugt. Die vorgeschlagene Lösung erreichte den ersten Platz beim Relighting-Challenge-Wettbewerb im Rahmen des Advances in Image Manipulation (AIM) 2020 Workshops, was ihre Wirksamkeit unter Beweis stellt – gemessen an einem mittleren perceptuellen Score, der wiederum mittels SSIM (Structural Similarity Index Measure) und dem gelernten perceptuellen Bildpatch-Ähnlichkeitsmaß (Learned Perceptual Image Patch Similarity, LPIPS) ermittelt wurde.