Region-aware Adaptive Instance Normalization für die Bildharmonisierung

Die Bildzusammensetzung spielt eine häufige, aber wichtige Rolle beim Fotobearbeitung. Um photo-realistische zusammengesetzte Bilder zu erzeugen, muss man das Erscheinungsbild und den visuellen Stil des Vordergrunds an den Hintergrund anpassen. Bestehende tiefgreifende Lernmethoden zur Harmonisierung von Bildzusammensetzungen lernen direkt ein Abbildungsnetzwerk vom zusammengesetzten zum echten Bild, ohne explizit auf die visuelle Stilkonsistenz zwischen Hintergrund und Vordergrund einzugehen. Um die visuelle Stilkonsistenz zwischen Vorder- und Hintergrund sicherzustellen, betrachten wir in diesem Artikel die Bildharmonisierung als ein Stilübertragungsproblem. Insbesondere stellen wir einen einfachen, aber effektiven Region-aware Adaptive Instance Normalization (RAIN)-Modul vor, der den visuellen Stil aus dem Hintergrund explizit formuliert und diesen adaptiv auf das Vordergrundbild anwendet. Mit unserer Architektur kann der RAIN-Modul als Plug-in-Modul für bestehende Bildharmonisierungsnetzwerke verwendet werden und bringt signifikante Verbesserungen. Umfangreiche Experimente auf etablierten Benchmark-Datensätzen zur Bildharmonisierung belegen die überlegene Leistung des vorgeschlagenen Ansatzes. Der Quellcode ist unter {https://github.com/junleen/RainNet} verfügbar.