Colorisation d'images guidée par l'utilisateur en temps réel avec des priors profonds appris

Nous proposons une approche basée sur l'apprentissage profond pour la colorisation d'images guidée par l'utilisateur. Le système mappe directement une image en niveaux de gris, ainsi que des indices utilisateur locaux et épars, à une colorisation de sortie à l'aide d'un réseau neuronal convolutif (CNN). Au lieu d'utiliser des règles définies manuellement, le réseau propage les modifications apportées par l'utilisateur en fusionnant des indices de bas niveau avec des informations sémantiques de haut niveau, apprises à partir de données à grande échelle. Nous entraînons le modèle sur un million d'images, avec des entrées utilisateur simulées. Pour guider l'utilisateur vers une sélection efficace des entrées, le système recommande des couleurs probables en fonction de l'image d'entrée et des entrées utilisateur actuelles. La colorisation est effectuée en un seul passage avant, permettant une utilisation en temps réel. Même avec des entrées utilisateur simulées aléatoirement, nous montrons que le système proposé aide les utilisateurs novices à créer rapidement des colorisations réalistes et offre de grandes améliorations de la qualité de la colorisation avec seulement quelques minutes d'utilisation. De plus, nous démontrons que le cadre peut intégrer d'autres indices utilisateur pour atteindre la colorisation souhaitée, illustrant son application au transfert d'histogramme de couleur. Notre code et nos modèles sont disponibles à l'adresse suivante : https://richzhang.github.io/ideepcolor.