DSRN: Eine effiziente tiefe Netzwerkarchitektur für die Bild-Relighting

Kundenspezifische und natürliche Beleuchtungsbedingungen können während der Nachbearbeitung in Szenenbildern nachgeahmt werden. Hierfür können die außergewöhnlichen Fähigkeiten eines Deep-Learning-Frameworks genutzt werden. Deep Image Relighting ermöglicht eine automatische Fotobearbeitung durch beleuchtungsspezifische Nachbearbeitung. Die meisten aktuell führenden Methoden zur Beleuchtungsrekonstruktion sind rechenzeitintensiv und speicherunwirtschaftlich. In diesem Artikel stellen wir einen effizienten, Echtzeit-Framework namens Deep Stacked Relighting Network (DSRN) für die Bild-Relighting vor, der aggregierte Merkmale aus dem Eingabebild auf verschiedenen Skalen nutzt. Unser Modell ist äußerst leichtgewichtig mit einer Gesamtgröße von etwa 42 MB und weist eine durchschnittliche Inferenzzeit von etwa 0,0116 s für Bilder mit der Auflösung $1024 \times 1024$ auf, was schneller ist als bei anderen Mehrskalen-Modellen. Unsere Lösung ist sehr robust bei der Umwandlung der Farbtemperatur von Eingabebildern in Zielbilder und erzielt zudem moderate Ergebnisse bei der Generierung von Lichtgradienten im Verhältnis zum Zielbild. Zudem zeigen wir, dass sich die qualitativen Ergebnisse verbessern, wenn Bilder, die aus entgegengesetzten Richtungen beleuchtet sind, als Eingabe verwendet werden, im Vergleich zu einer einzigen Eingabebildquelle.