Colorisation d'images avec prise en compte des instances

La colorisation d'images est intrinsèquement un problème mal posé avec une incertitude multimodale. Les méthodes précédentes ont exploité les réseaux neuronaux profonds pour cartographier directement les images en niveaux de gris vers des sorties colorées plausibles. Bien que ces méthodes basées sur l'apprentissage aient montré des performances impressionnantes, elles échouent généralement sur les images d'entrée qui contiennent plusieurs objets. La principale raison est que les modèles existants effectuent l'apprentissage et la colorisation sur l'image entière. En l'absence d'une séparation claire entre le premier plan et l'arrière-plan, ces modèles ne peuvent pas efficacement localiser et apprendre des sémantiques significatives au niveau des objets. Dans cet article, nous proposons une méthode permettant d'atteindre une colorisation sensible aux instances (instance-aware). Notre architecture de réseau utilise un détecteur d'objets prêt à l'emploi pour obtenir des images d'objets recadrées et un réseau de colorisation par instance pour extraire des caractéristiques au niveau des objets. Nous utilisons un réseau similaire pour extraire les caractéristiques de l'image complète et appliquons un module de fusion aux caractéristiques au niveau des objets et de l'image pour prédire les couleurs finales. Les deux réseaux de colorisation et les modules de fusion sont appris à partir d'un jeu de données à grande échelle. Les résultats expérimentaux montrent que notre travail surpassent les méthodes existantes selon différents critères de qualité et atteint des performances de pointe en matière de colorisation d'images.