Verbesserung der Harmonie des kompositen Bildes durch ein räumlich getrenntes Aufmerksamkeitsmodul

Bildkomposition ist eine der wichtigsten Anwendungen im Bereich der Bildverarbeitung. Allerdings verringern Disharmonien zwischen dem zusammengesetzten Bereich und dem Hintergrund die Qualität des Bildes. Daher befassen wir uns mit dem Problem der Bildharmonisierung: Gegeben ein zusammengesetztes Bild und die Maske des zusammengesetzten Bereichs, versuchen wir, den „Stil“ des eingefügten Bereichs mit dem Hintergrund (nicht-zusammengesetzter Bereich) zu harmonisieren. Frühere Ansätze konzentrierten sich darauf, das neuronale Netzwerk direkt zu trainieren. In dieser Arbeit gehen wir von einer empirischen Beobachtung aus: Die Unterschiede können nur im zusammengesetzten Bereich zwischen dem zusammengesetzten Bild und dem harmonisierten Ergebnis gefunden werden, während sie dieselbe semantische Information und das gleiche Erscheinungsbild im nicht-zusammengesetzten Bereich teilen. Um die Merkmalskarte im maskierten Bereich und in den anderen Bereichen getrennt zu lernen, schlagen wir ein neuartiges Aufmerksamkeitsmodul vor, das als Spatial-Separated Attention Module (S2AM) bezeichnet wird. Des Weiteren entwerfen wir einen neuen Rahmen für die Bildharmonisierung, indem wir das S2AM auf zwei verschiedene Arten in die groberen niedrigstufigen Merkmale der Unet-Struktur einfügen. Neben der Bildharmonisierung machen wir einen großen Schritt zur Harmonisierung des zusammengesetzten Bildes ohne eine spezifische Maske unter Berücksichtigung unserer früheren Beobachtung. Die Experimente zeigen, dass das vorgeschlagene S2AM in unserer Aufgabe besser abschneidet als andere state-of-the-art-Aufmerksamkeitsmodule. Darüber hinaus demonstrieren wir die Vorteile unseres Modells gegenüber anderen state-of-the-art-Bildharmonisierungsverfahren durch Kriterien aus verschiedenen Perspektiven. Der Quellcode ist unter https://github.com/vinthony/s2am verfügbar.