PHNet: Patch-basierte Normalisierung für Porträtharmonisierung

Ein häufiges Problem bei zusammengesetzten Bildern ist die Inkompatibilität ihrer Vordergrund- und Hintergrundkomponenten. Die Bildharmonisierung zielt darauf ab, dieses Problem zu lösen, um das gesamte Bild authentischer und kohärenter erscheinen zu lassen. Die meisten existierenden Lösungen prognostizieren Lookup-Tabellen (LUTs) oder rekonstruieren Bilder unter Verwendung verschiedener Attribute von zusammengesetzten Bildern. Neuere Ansätze konzentrieren sich hauptsächlich auf die Anwendung globaler Transformationen wie Normalisierung und Farbverlaufserzeugung (color curve rendering), um visuelle Konsistenz zu erreichen, und sie übersehen oft die Bedeutung der lokalen visuellen Kohärenz. Wir präsentieren ein patchbasiertes Harmonisierungsnetzwerk, das aus neuartigen patchbasierten Normalisierungsblöcken (Patch-based normalization, PN) und einem Feature-Extractor basierend auf statistischer Farbübertragung besteht. Umfangreiche Experimente zeigen die hohe Generalisierungsfähigkeit des Netzwerks für verschiedene Domains. Unser Netzwerk erzielt state-of-the-art Ergebnisse im iHarmony4-Datensatz. Zudem haben wir einen neuen Datensatz zur Harmonisierung von Porträts erstellt, der auf FFHQ basiert, und die vorgeschlagene Methode getestet, um ihre Generalisierungsfähigkeit durch die Erreichung der besten Metriken daran zu beweisen. Die Benchmark-Experimente bestätigen, dass der vorgeschlagene patchbasierte Normalisierungsblock und der Feature-Extractor die Fähigkeit des Netzwerks zur Harmonisierung von Porträts effektiv verbessern. Unser Code und unsere Modell-Baselines sind öffentlich zugänglich.