Spatial-Separated Curve Rendering Network für effiziente und hochauflösende Bildharmonisierung

Die Bildharmonisierung zielt darauf ab, die Farbe des zusammengesetzten Bereichs im Verhältnis zu einem bestimmten Hintergrund anzupassen. Frühere Ansätze modellieren diese Aufgabe als pixelweise Bild-zu-Bild-Übersetzung unter Verwendung von UNet-ähnlichen Architekturen. Allerdings beschränken Größe und Rechenkosten dieser Modelle ihre Anwendbarkeit auf Edge-Geräte und hochauflösende Bilder. Um dies zu adressieren, stellen wir erstmals ein neuartiges räumlich getrenntes Kurvenrendering-Netzwerk (S²CRNet) für eine effiziente und hochauflösende Bildharmonisierung vor. In S²CRNet extrahieren wir zunächst räumlich getrennte Embeddings aus den Vorschaubildern des maskierten Vordergrunds und Hintergrunds getrennt. Anschließend entwerfen wir ein Kurvenrendering-Modul (CRM), das räumlich spezifisches Wissen mittels linearen Schichten lernt und kombiniert, um die Parameter der stückweise definierten Kurvenabbildung im Vordergrundbereich zu generieren. Schließlich rendern wir die ursprünglichen hochauflösenden Bilder direkt unter Verwendung der gelernten Farbkurven. Darüber hinaus führen wir zwei Erweiterungen des vorgeschlagenen Frameworks ein: das kaskadierte CRM (Cascaded-CRM) zur kaskadierten Verbesserung und das semantische CRM (Semantic-CRM) zur semantischen Steuerung. Experimente zeigen, dass die vorgeschlagene Methode im Vergleich zu früheren Ansätzen mehr als 90 % der Parameter reduziert, gleichzeitig aber die State-of-the-Art-Leistung sowohl auf den synthetischen iHarmony4- als auch auf den realen DIH-Testdatensätzen erreicht. Zudem funktioniert unsere Methode nahtlos bei hochauflösenden Bildern (z. B. $2048\times2048$) innerhalb von 0,1 Sekunden und verbraucht dabei deutlich weniger GPU-Rechenressourcen als alle bestehenden Methoden. Der Quellcode wird unter \url{http://github.com/stefanLeong/S2CRNet} verfügbar gemacht.