Image Inpainting Fine-grainée

Les techniques de complétion d'images (image inpainting) ont montré des améliorations prometteuses grâce à l'assistance des réseaux de neurones génératifs adverses (GANs) récemment. Cependant, la plupart d'entre elles souffrent souvent de résultats incomplets avec une structure irrationnelle ou une floue. Pour atténuer ce problème, dans cet article, nous présentons un modèle en une seule étape qui utilise des combinaisons denses de convolutions dilatées afin d'obtenir des champs récepteurs plus larges et plus efficaces. Grâce aux propriétés de ce réseau, nous pouvons récupérer plus facilement de grandes régions dans une image incomplète. Pour mieux entraîner ce générateur efficace, en plus de la perte de correspondance fréquemment utilisée des caractéristiques VGG, nous concevons une nouvelle perte de régression auto-guidée se concentrant sur les zones incertaines et améliorant les détails sémantiques. De plus, nous élaborons un terme de contrainte d'alignement géométrique pour compenser la distance basée sur les pixels entre les caractéristiques prédites et celles du sol véridique (ground-truth). Nous utilisons également un discriminateur doté de branches locales et globales pour garantir la cohérence contenu locale-globale. Pour améliorer encore davantage la qualité des images générées, une correspondance des caractéristiques du discriminateur sur la branche locale est introduite, qui minimise dynamiquement la similarité des caractéristiques intermédiaires entre les patches synthétiques et ceux du sol véridique. Des expériences approfondies sur plusieurs jeux de données publics démontrent que notre approche surpassent les méthodes actuelles les plus avancées (state-of-the-art). Le code source est disponible à l'adresse suivante : https://github.com/Zheng222/DMFN.