Restauration d'images avec des cartes d'attention bidirectionnelles apprenables

La plupart des méthodes d'inpainting basées sur les réseaux de neurones convolutifs (CNN) utilisent la convolution standard pour traiter de manière indifférenciée les pixels valides et les trous, ce qui limite leur capacité à gérer des trous irréguliers et augmente la probabilité de générer des résultats d'inpainting présentant des disparités de couleur et une flouité. La convolution partielle a été proposée pour résoudre ce problème, mais elle utilise une rénormalisation des caractéristiques conçue manuellement et ne prend en compte que la mise à jour du masque en avant. Dans cet article, nous présentons un module de carte d'attention apprenable pour l'apprentissage de la rénormalisation des caractéristiques et de la mise à jour du masque de manière end-to-end, ce qui s'avère efficace pour s'adapter aux trous irréguliers et propager les couches de convolution. De plus, des cartes d'attention inverse apprenables sont introduites afin que le décodeur du U-Net puisse se concentrer sur le remplissage des trous irréguliers plutôt que sur la reconstruction des zones trouées et connues, aboutissant ainsi à nos cartes d'attention bidirectionnelles apprenables. Les expériences qualitatives et quantitatives montrent que notre méthode offre des performances favorables par rapport aux états de l'art dans la génération de résultats d'inpainting plus nets, cohérents et visuellement plausibles. Le code source et les modèles pré-entraînés seront disponibles.