CR-Fill : Inpainting d’images génératif avec reconstruction contextuelle auxiliaire

Les méthodes récentes de génération profonde par complétion (inpainting) utilisent des couches d’attention afin de permettre au générateur de s’approprier explicitement des patches de caractéristiques provenant des régions connues afin de compléter les zones manquantes. En raison du manque de signaux de supervision pour la correspondance entre les régions manquantes et les régions connues, le modèle peut échouer à identifier des caractéristiques de référence adaptées, ce qui entraîne fréquemment des artefacts dans les résultats. De plus, le calcul de la similarité par paires sur l’ensemble de la carte de caractéristiques pendant l’inférence engendre un surcroît computationnel important. Pour résoudre ce problème, nous proposons d’enseigner un tel comportement d’emprunt de patches à un générateur sans attention grâce à une formation conjointe avec une tâche auxiliaire de reconstruction contextuelle. Cette approche encourage la sortie générée à être plausible même lorsqu’elle est reconstruite à partir des régions environnantes. La branche auxiliaire peut être vue comme une fonction de perte apprenable, nommée perte de reconstruction contextuelle (CR loss), où la similarité entre les caractéristiques de requête et de référence, ainsi qu’un reconstructeur basé sur les caractéristiques de référence, sont optimisés conjointement avec le générateur de complétion. La branche auxiliaire (c’est-à-dire la perte CR) n’est requise qu’en phase d’entraînement, tandis que seul le générateur de complétion est utilisé pendant l’inférence. Les résultats expérimentaux montrent que le modèle proposé se distingue favorablement des méthodes de pointe en termes de performance quantitative et visuelle. Le code est disponible à l’adresse suivante : https://github.com/zengxianyu/crfill.