Bildharmonisierung mit Transformer

Bildharmonisierung, deren Ziel darin besteht, zusammengesetzte Bilder realistischer erscheinen zu lassen, ist eine wichtige und herausfordernde Aufgabe. Die zusammengesetzte Bildkomposition, die durch die Kombination eines Vordergrunds aus einem Bild mit einem Hintergrund aus einem anderen Bild entsteht, leidet zwangsläufig unter einem unharmonischen Erscheinungsbild, verursacht durch unterschiedliche Aufnahmebedingungen, insbesondere Lichtbedingungen. Aktuelle Ansätze basieren hauptsächlich auf einer Encoder-Decoder-Architektur mit konvolutionellen neuronalen Netzen (CNN), um den Kontext zusammengesetzter Bilder zu erfassen und zu verstehen, wie das Aussehen im unmittelbaren Umfeld des Vordergrunds im Hintergrund ist. In dieser Arbeit greifen wir auf Transformer zurück, um die Bildharmonisierung zu lösen, indem wir deren starke Fähigkeit zur Modellierung langreichweitiger Kontextabhängigkeiten nutzen, um die Beleuchtung des Vordergrunds anzupassen, sodass sie mit der Beleuchtung des Hintergrunds kompatibel wird, ohne Struktur und Semantik zu verändern. Wir präsentieren die Architekturdesigns unserer Harmonisierungs-Transformer-Modelle, sowohl mit als auch ohne Entkoppelung, sowie umfassende Experimente und eine Ablation-Studie, die die Stärke des Transformers unterstreichen und die Anwendung des Transformers im Bereich der Computer Vision untersuchen. Unser Ansatz erreicht den Stand der Technik sowohl bei der Bildharmonisierung als auch bei der Bildinpainting/Verbesserung und demonstriert somit seine Überlegenheit. Unser Code und die Modelle sind unter https://github.com/zhenglab/HarmonyTransformer verfügbar.