Echtzeit-User-gesteuerte Bildfarbgebung mit gelernten tiefen A-priori-Informationen

Wir schlagen einen tiefen Lernansatz für die benutzergesteuerte Färbung von Bildern vor. Das System ordnet ein Graustufenbild direkt zusammen mit spärlichen, lokalen Benutzer-"Hinweisen" einem farbigen Ausgabebild mittels eines Faltungsneuronalen Netzes (Convolutional Neural Network, CNN) zu. Anstatt vorgegebene Regeln zu verwenden, verbreitet das Netzwerk Benutzerbearbeitungen durch die Kombination von Niedrig-Level-Hinweisen mit hochwertigen semantischen Informationen, die aus umfangreichen Daten gelernt wurden. Wir trainieren das Modell anhand einer Million Bilder, wobei simulierte Benutzereingaben verwendet werden. Um den Benutzer bei der effizienten Auswahl der Eingaben zu unterstützen, empfiehlt das System wahrscheinliche Farben basierend auf dem Eingangsbild und den aktuellen Benutzereingaben. Die Färbung wird in einem einzigen Feed-Forward-Durchgang durchgeführt, was eine Echtzeitnutzung ermöglicht. Selbst bei zufällig simulierten Benutzereingaben zeigen wir, dass das vorgeschlagene System Anfängern hilft, schnell realistische Färbungen zu erstellen und die Qualität der Färbung bereits nach kurzer Nutzung erheblich verbessert. Darüber hinaus demonstrieren wir, dass das Framework andere Benutzer-"Hinweise" zur gewünschten Färbung integrieren kann, was eine Anwendung auf die Übertragung von Farbhistogrammen zeigt. Unser Code und unsere Modelle sind unter https://richzhang.github.io/ideepcolor verfügbar.