Intrinsische Bildharmonisierung

Die Komposition eines Bildes leidet in der Regel unvermeidlich unter dem Problem der Inharmonie, das hauptsächlich durch die Inkompatibilität von Vorder- und Hintergrund entsteht, die aus zwei unterschiedlichen Bildern stammen und sich in ihren Oberflächen und Beleuchtungsbedingungen unterscheiden. Diese Unterschiede entsprechen den materialabhängigen und lichtabhängigen Eigenschaften, genauer gesagt den sogenannten Reflexions- und Beleuchtungs-Intrinsic-Bildern. Daher verfolgen wir den Ansatz, die Bildharmonisierung durch eine getrennte Harmonisierung von Reflexion und Beleuchtung zu lösen, also mittels Intrinsic-Bild-Harmonisierung. Unser Verfahren basiert auf einem Autoencoder, der ein zusammengesetztes Bild in Reflexion und Beleuchtung zerlegt, um diese anschließend getrennt harmonisieren zu können. Konkret harmonisieren wir die Reflexion durch einen Materialkonsistenz-Penalty, während die Beleuchtung durch Lernen und Übertragung der Lichtverhältnisse vom Hintergrund auf das Vordergrundobjekt angepasst wird. Zudem modellieren wir die Patch-Beziehungen zwischen Vorder- und Hintergrund zusammengesetzter Bilder auf eine inharmoniefreie Weise, um die Intrinsic-Bild-Harmonisierung adaptiv zu leiten. Umfangreiche Experimente sowie Ablationsstudien belegen die Stärke unseres Ansatzes sowie die Wirksamkeit jedes einzelnen Komponenten. Zudem tragen wir einen neuen, herausfordernden Datensatz zur Benchmarking der Beleuchtungsharmonisierung bei. Der Quellcode und der Datensatz sind unter https://github.com/zhenglab/IntrinsicHarmony verfügbar.