iColoriT : Vers la propagation de l'indice local à la bonne région dans la colorisation interactive en utilisant le Vision Transformer

La colorisation d'images par interaction ponctuelle vise à coloriser des images en niveaux de gris lorsque l'utilisateur fournit les couleurs pour des emplacements spécifiques. Il est essentiel que les méthodes de colorisation par interaction ponctuelle propagent correctement les couleurs fournies par l'utilisateur (c'est-à-dire les indices utilisateur) sur l'ensemble de l'image afin d'obtenir une image raisonnablement colorisée avec un minimum d'effort de la part de l'utilisateur. Cependant, les approches existantes produisent souvent des résultats partiellement colorisés en raison d'une conception inefficace des couches de convolution empilées pour propager les indices vers des régions éloignées pertinentes. Pour résoudre ce problème, nous présentons iColoriT, un nouveau Vision Transformer interactif par points capable de propager les indices utilisateur vers des régions pertinentes, en exploitant le champ récepteur global des Transformers. Le mécanisme d'auto-attention des Transformers permet à iColoriT de coloriser sélectivement des régions pertinentes avec seulement quelques indices locaux. Notre approche colorise les images en temps réel en utilisant le mélange de pixels (pixel shuffling), une technique d'échantillonnage efficace qui remplace l'architecture du décodeur. De plus, pour atténuer les artefacts causés par le mélange de pixels avec des rapports d'échantillonnage élevés, nous introduisons la couche stabilisatrice locale. Des résultats quantitatifs et qualitatifs étendus démontrent que notre approche surpasse largement les méthodes existantes pour la colorisation interactive par points, produisant des images précisément colorisées avec un minimum d'effort de la part de l'utilisateur. Les codes officiels sont disponibles à l'adresse suivante : https://pmh9960.github.io/research/iColoriT