DoveNet: Tiefe Bildharmonisierung mittels Domänenüberprüfung

Bildzusammensetzung ist eine wichtige Operation im Bereich der Bildverarbeitung, doch die Inkonsistenz zwischen Vordergrund und Hintergrund beeinträchtigt die Qualität der zusammengesetzten Bilder erheblich. Die Bildharmonisierung, die darauf abzielt, den Vordergrund mit dem Hintergrund kompatibel zu machen, ist eine vielversprechende, jedoch herausfordernde Aufgabe. Ein wesentlicher Hindernis für die Entwicklung fortschrittlicher Bildharmonisierungstechniken ist jedoch das Fehlen qualitativ hochwertiger, öffentlich zugänglicher Datensätze für diese Aufgabe. In dieser Arbeit präsentieren wir einen neuen Datensatz für Bildharmonisierung, iHarmony4, der durch die Synthese von zusammengesetzten Bildern auf Basis der Datensätze COCO (bzw. Adobe5k, Flickr, day2night) entstanden ist, was zu den Unterdatensätzen HCOCO (bzw. HAdobe5k, HFlickr, Hday2night) führt. Darüber hinaus schlagen wir eine neue tiefenlernenbasierte Methode zur Bildharmonisierung, DoveNet, vor, die einen neuartigen Domänen-Verifizierungs-Discriminator verwendet, basierend auf der Erkenntnis, dass der Vordergrund in dieselbe Domäne wie der Hintergrund transformiert werden muss. Umfassende Experimente auf unserem neu aufgebauten Datensatz belegen die Wirksamkeit unserer vorgeschlagenen Methode. Unser Datensatz und der zugehörige Quellcode sind unter https://github.com/bcmi/Image_Harmonization_Datasets verfügbar.