DCCF: Deep Comprehensible Color Filter Learning Framework für die Harmonisierung von hochauflösenden Bildern

Der Algorithmus zur Bildfarbharmonisierung zielt darauf ab, die Farbverteilung von Vordergrund- und Hintergrundbildern, die unter unterschiedlichen Bedingungen aufgenommen wurden, automatisch anzupassen. Bisherige auf Deep Learning basierende Modelle vernachlässigen zwei für praktische Anwendungen entscheidende Aspekte: die Verarbeitung von hochauflösenden (HR) Bildern und die Modellverständlichkeit. In diesem Paper stellen wir einen neuartigen Lernrahmen namens Deep Comprehensible Color Filter (DCCF) für die Harmonisierung hochauflösender Bilder vor. Konkret downsampelt DCCF zunächst das ursprüngliche Eingabebild auf seine niederauflösende (LR) Variante, lernt dann in end-to-end-Weise vier menschlich verständliche neuronale Filter (nämlich Farbton-, Sättigungs-, Wert- und Aufmerksamkeits-Rendering-Filter) und wendet diese schließlich auf das ursprüngliche Eingabebild an, um das harmonisierte Ergebnis zu erzeugen. Durch die Verwendung verständlicher neuronaler Filter können wir den Benutzern eine einfache, aber effiziente Methode anbieten, um gemeinsam mit dem tiefen Modell bei Bedarf mit minimalem Aufwand die gewünschten Ergebnisse zu erzielen. Umfangreiche Experimente belegen die Wirksamkeit des DCCF-Lernrahmens und zeigen, dass er den Stand der Technik bei post-processing-basierten Methoden auf dem iHarmony4-Datensatz bei voller Bildauflösung übertrifft, wobei er eine relative Verbesserung von 7,63 % bezüglich des MSE und 1,69 % bezüglich des PSNR erreicht.