Transformateur de colorisation

Nous présentons le Colorization Transformer, une nouvelle approche pour la colorisation d’images à haute fidélité et diversifiée, fondée sur l’attention auto-associative. Étant donné une image en niveaux de gris, le processus de colorisation s’effectue en trois étapes. Nous utilisons d’abord un transformateur autoregressif conditionnel pour produire une colorisation grossière à faible résolution de l’image en niveaux de gris. Notre architecture intègre des couches de transformateur conditionnelles afin de conditionner efficacement l’entrée en niveaux de gris. Deux réseaux entièrement parallèles suivants procèdent à la montée de résolution de l’image colorisée à faible résolution afin d’obtenir une image haute résolution finement colorisée. L’échantillonnage à partir du Colorization Transformer génère des colorisations diverses dont la fidélité dépasse l’état de l’art précédent sur la colorisation d’images ImageNet, tant selon les résultats FID que selon une évaluation humaine réalisée via un test Mechanical Turk. De façon remarquable, dans plus de 60 % des cas, les évaluateurs humains préfèrent la colorisation la mieux notée parmi les trois générées à l’image de référence (ground truth). Le code source et les points de contrôle pré-entraînés du Colorization Transformer sont disponibles publiquement à l’adresse suivante : https://github.com/google-research/google-research/tree/master/coltran