iColoriT: Auf dem Weg zur Verbreitung lokaler Hinweise auf die richtige Region bei interaktiver Farbgebung durch den Einsatz von Vision-Transformern

Die punktinteraktive Bildfarbgebung (point-interactive image colorization) strebt danach, Graustufenbilder zu färben, wenn ein Benutzer die Farben für bestimmte Positionen angibt. Es ist entscheidend, dass Methoden der punktinteraktiven Farbgebung die vom Benutzer bereitgestellten Farbhinweise (d.h. Benutzerhinweise) effektiv im gesamten Bild verbreiten, um mit minimalem Aufwand eine vernünftig farbige Abbildung zu erzeugen. Bestehende Ansätze führen jedoch oft zu teilweise farbigen Ergebnissen aufgrund einer ineffizienten Gestaltung von Schichten von Faltungsoperationen zur Verbreitung der Hinweise in entfernten relevanten Bereichen. Um dieses Problem zu lösen, stellen wir iColoriT vor, einen neuen Vision Transformer für punktinteraktive Farbgebung, der es ermöglicht, Benutzerhinweise in relevante Bereiche zu verbreiten und sich auf das globale Wahrnehmungsfeld von Transformers stützt. Das Selbst-Aufmerksamkeitsmechanismus (self-attention mechanism) der Transformers ermöglicht es iColoriT, relevante Bereiche ausschließlich mit wenigen lokalen Hinweisen selektiv zu färben. Unser Ansatz färbt Bilder in Echtzeit durch die Nutzung des Pixel-Shufflings, einer effizienten Upsampling-Technik, die die Dekodierarchitektur ersetzt. Zudem präsentieren wir eine lokale Stabilisierungsschicht (local stabilizing layer), um Artefakte zu reduzien, die durch Pixel-Shuffling bei großen Upsampling-Verhältnissen entstehen können. Ausführliche quantitative und qualitative Ergebnisse zeigen, dass unser Ansatz bestehende Methoden für punktinteraktive Farbgebung deutlich übertrifft und genau gefarbete Bilder mit minimalem Benutzeraufwand erzeugt. Die offiziellen Codes sind unter https://pmh9960.github.io/research/iColoriT verfügbar.