Globales Wissen für Kernbasierte Bildharmonisierung erlernen

Die Bildharmonisierung zielt darauf ab, das Problem der visuellen Inkonsistenzen in zusammengesetzten Bildern durch anpassungsfähige Anpassung der Vordergrundpixel unter Verwendung des Hintergrunds als Referenz zu lösen. Bestehende Methoden verwenden lokale Farbtransformation oder Regionenabgleich zwischen Vorder- und Hintergrund, was die starke Proximitätspriorität vernachlässigt und den Vorder- und Hintergrund unabhängig voneinander als Ganzes für die Harmonisierung unterscheidet. Als Ergebnis zeigen diese Methoden noch eine begrenzte Leistung bei unterschiedlichen Vordergrundobjekten und Szenen. Um dieses Problem zu bewältigen, schlagen wir ein neuartiges globales Kernnetzwerk (Global-aware Kernel Network, GKNet) vor, das lokale Bereiche unter umfassender Berücksichtigung von langdistanzierten Hintergrundreferenzen harmonisiert.Speziell besteht GKNet aus zwei Teilen, nämlich der Harmonisierungskernvorhersage und der Harmonisierungskernmodulation. Der erste Teil enthält einen Langdistanzreferenzextraktor (Long-distance Reference Extractor, LRE), um langdistanzierte Kontextinformationen zu gewinnen, sowie Kernaussageblöcke (Kernel Prediction Blocks, KPB), um mehrstufige Harmonisierungskerne durch Fusions von globaler Information mit lokalen Merkmalen vorherzusagen. Um dieses Ziel zu erreichen, wird ein neues selektives Korrelationsfusionsmodul (Selective Correlation Fusion, SCF) vorgeschlagen, das relevante langdistanzierte Hintergrundreferenzen besser für die lokale Harmonisierung auswählt. Der zweite Teil nutzt die vorhergesagten Kerne, um Vordergrundbereiche sowohl lokal als auch global bewusst zu harmonisieren.Reichhaltige Experimente belegen die Überlegenheit unserer Methode für die Bildharmonisierung im Vergleich zu den bislang besten Methoden, zum Beispiel durch Erreichen eines PSNR-Werts von 39,53 dB, was 0,78 dB höher (+0,78 dB $\uparrow$) ist als der beste Konkurrent; im Vergleich zur Stand-of-the-Art-Methode konnte fMSE/MSE um 11,5\%$\downarrow$/6,7\%$\downarrow$ reduziert werden. Der Quellcode wird unter \href{https://github.com/XintianShen/GKNet}{diesem Link} verfügbar sein.