Physically Inspired Dense Fusion Networks for Relighting

Die Bildrelighting ist aufgrund ihrer Relevanz für Anwendungen im Bereich der erweiterten Realität zu einem Thema mit großem Forschungsinteresse geworden. Es wurden sowohl physikbasierte traditionelle Methoden als auch „Black-Box“-Deep-Learning-Modelle entwickelt. Die bestehenden tiefen Netzwerke haben durch Training eine neue state-of-the-art-Leistung erreicht; sie können jedoch schlecht abschneiden, wenn das Training begrenzt ist oder die Phänomenologie des Problems nicht adäquat abbildet, beispielsweise bei der Hinzufügung oder Entfernung dichter Schatten. Wir schlagen ein Modell vor, das neuronale Netze durch physikalische Einsichten ergänzt. Genauer generiert unsere Methode das neu beleuchtete Bild unter neuen Beleuchtungsbedingungen mittels zweier unterschiedlicher Strategien und fügt diese anschließend mit einer Gewichtskarte (w) zusammen. Bei der ersten Strategie schätzt unser Modell die Materialreflektanzparameter (Albedo) sowie die Beleuchtungs-/Geometrieparameter der Szene (Schattierung) für das neu beleuchtete Bild vorher (diese Strategie bezeichnen wir als intrinsische Bildzerlegung (IID)). Die zweite Strategie basiert ausschließlich auf dem Black-Box-Ansatz, bei dem das Modell seine Gewichte im Trainingsstadium anhand der Ground-Truth-Bilder und der Loss-Terme optimiert und direkt das neu beleuchtete Ergebnis generiert (diese Strategie bezeichnen wir als direkte Methode). Während unser vorgeschlagenes Verfahren sowohl für ein-zu-eins- als auch für beliebig-zu-beliebig-Relighting-Anwendungen geeignet ist, integrieren wir für beide Fälle problembezogene Komponenten, um die Modellleistung zu verbessern: 1) Bei der ein-zu-eins-Relighting-Anwendung integrieren wir die Normalenvektoren der Oberflächen in der Szene, um Glanz und Schatten im Bild entsprechend anzupassen. 2) Bei der beliebig-zu-beliebig-Relighting-Anwendung erweitern wir die Architektur um einen zusätzlichen multiskaligen Block zur Verbesserung der Merkmalsextraktion. Experimentelle Ergebnisse auf den Datensätzen VIDIT 2020 und VIDIT 2021 (die im NTIRE 2021 Relighting-Challenge verwendet wurden) zeigen, dass unser Ansatz gegenüber vielen state-of-the-art-Methoden in Bezug auf etablierte Fidelitätsmaße und perceptuelle Verlustfunktionen überlegen ist.