Harmonizer: Lernen der Durchführung von White-Box Bild- und Videokorrektur

Kürzliche Arbeiten zur Bildharmonisierung lösen das Problem als pixelweise Bildübersetzungsaufgabe durch große Autoencoder. Diese Methoden erzielen bei der Verarbeitung hochaufgelöster Bilder unzufriedenstellende Leistungen und langsamen Inferenzgeschwindigkeiten. In dieser Arbeit beobachten wir, dass die Anpassung der Eingabeparameter grundlegender Bildfilter, z.B. Helligkeit und Kontrast, ausreichend ist, um für Menschen realistische Bilder aus zusammengesetzten Bildern zu erstellen. Daher formulieren wir die Bildharmonisierung als ein bildweites Regressionsproblem, um die Parameter der Filter zu lernen, die Menschen für diese Aufgabe verwenden. Wir stellen einen Harmonizer-Framework für die Bildharmonisierung vor. Im Gegensatz zu früheren Methoden, die auf schwarz-box-Autoencodern basieren, enthält Harmonizer ein neuronales Netzwerk zur Vorhersage der Filterparameter und mehrere weiße-Box-Filter (basierend auf den vorhergesagten Parametern) zur Bildharmonisierung. Wir führen außerdem einen Kaskadenregressor und eine dynamische Verluststrategie für Harmonizer ein, um die Lernprozesse der Filterparameter stabiler und präziser zu gestalten. Da unser Netzwerk nur bildweitige Parameter ausgibt und die von uns verwendeten Filter effizient sind, ist Harmonizer viel leichter und schneller als bestehende Methoden. Umfassende Experimente zeigen, dass Harmonizer bestehende Methoden erheblich übertrifft, insbesondere bei hochaufgelösten Eingaben. Schließlich wenden wir Harmonizer auf die Videoharmonisierung an, was konsistente Ergebnisse über Frames hinweg und 56 fps in 1080P-Auflösung ermöglicht. Der Quellcode und die Modelle sind unter folgender URL verfügbar: https://github.com/ZHKKKe/Harmonizer.