PCT-Net: Vollauflösende Bildharmonisierung mittels pixelweise Farbtransformationen

In diesem Paper präsentieren wir PCT-Net, eine einfache und allgemeine Methode zur Bildharmonisierung, die problemlos auf Bilder in voller Auflösung angewendet werden kann. Der zentrale Ansatz besteht darin, ein Parameter-Netzwerk zu lernen, das untersampelte Eingabebilder nutzt, um die Parameter für pixelweise Farbtransformationen (PCTs) vorherzusagen, die dann auf jedes Pixel des Bildes in voller Auflösung angewendet werden. Wir zeigen, dass affine Farbtransformationen sowohl effizient als auch wirksam sind und führende Ergebnisse in der Harmonisierung erzielen. Darüber hinaus untersuchen wir sowohl CNNs als auch Transformers als Parameter-Netzwerke und belegen, dass Transformers zu besseren Ergebnissen führen. Wir evaluieren die vorgeschlagene Methode auf dem öffentlichen, vollauflösenden iHarmony4-Datensatz, der aus vier Datensätzen besteht, und zeigen eine Reduktion der vordergrundbasierten MSE (fMSE)- und der MSE-Werte um mehr als 20 % sowie eine Verbesserung des PSNR-Werts um 1,4 dB, wobei die Architektur dennoch leichtgewichtig bleibt. In einer Benutzerstudie mit 20 Personen zeigen wir, dass die Methode einen höheren B-T-Score erzielt als zwei andere neuere Ansätze.