Hohe Auflösungsbildharmonisierung durch kollaborative doppelte Transformationen

Gegeben ein zusammengesetztes Bild zielt die Bildharmonisierung darauf ab, den Vordergrund so anzupassen, dass er mit dem Hintergrund kompatibel wird. Die Harmonisierung von Bildern mit hoher Auflösung ist stark nachgefragt, bleibt jedoch bisher weitgehend unerforscht. Herkömmliche Methoden der Bildharmonisierung lernen eine globale RGB-zu-RGB-Transformation, die problemlos auf hohe Auflösungen skaliert, ignorieren jedoch die vielfältigen lokalen Kontextinformationen. Kürzlich entwickelte Methoden auf Basis tiefer neuronalen Netze lernen eine dichte Pixel-zu-Pixel-Transformation, die harmonisierte Ergebnisse erzeugen kann, sind jedoch stark auf niedrige Auflösungen beschränkt. In dieser Arbeit stellen wir ein Netzwerk zur Hochauflösungs-Bildharmonisierung mit kollaborativer doppelter Transformation (CDTNet) vor, das die Pixel-zu-Pixel-Transformation und die RGB-zu-RGB-Transformation kohärent in einem end-to-end-Netzwerk kombiniert. Unser CDTNet besteht aus einem Generator mit niedriger Auflösung zur Durchführung der Pixel-zu-Pixel-Transformation, einem Farbkartenmodul zur Durchführung der RGB-zu-RGB-Transformation sowie einem Nachbearbeitungsmodul, das die Vorteile beider Ansätze nutzt. Umfangreiche Experimente an einem Hochauflösungs-Benchmark-Datensatz sowie an von uns erstellten realen hochauflösenden zusammengesetzten Bildern zeigen, dass unser CDTNet ein gutes Gleichgewicht zwischen Effizienz und Effektivität erreicht. Die verwendeten Datensätze sind unter https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization verfügbar.