Command Palette
Search for a command to run...
Restauration d'images avec des cartes d'attention bidirectionnelles apprenables
Restauration d'images avec des cartes d'attention bidirectionnelles apprenables
Chaohao Xie extsuperscript1 extsuperscript† Shaohui Liu extsuperscript1,3 Chao Li extsuperscript2 Ming-Ming Cheng extsuperscript4 Wangmeng Zuo extsuperscript1,3 extsuperscript* Xiao Liu extsuperscript2 Shilei Wen extsuperscript2 Errui Ding extsuperscript2
Résumé
La plupart des méthodes d'inpainting basées sur les réseaux de neurones convolutifs (CNN) utilisent la convolution standard pour traiter de manière indifférenciée les pixels valides et les trous, ce qui limite leur capacité à gérer des trous irréguliers et augmente la probabilité de générer des résultats d'inpainting présentant des disparités de couleur et une flouité. La convolution partielle a été proposée pour résoudre ce problème, mais elle utilise une rénormalisation des caractéristiques conçue manuellement et ne prend en compte que la mise à jour du masque en avant. Dans cet article, nous présentons un module de carte d'attention apprenable pour l'apprentissage de la rénormalisation des caractéristiques et de la mise à jour du masque de manière end-to-end, ce qui s'avère efficace pour s'adapter aux trous irréguliers et propager les couches de convolution. De plus, des cartes d'attention inverse apprenables sont introduites afin que le décodeur du U-Net puisse se concentrer sur le remplissage des trous irréguliers plutôt que sur la reconstruction des zones trouées et connues, aboutissant ainsi à nos cartes d'attention bidirectionnelles apprenables. Les expériences qualitatives et quantitatives montrent que notre méthode offre des performances favorables par rapport aux états de l'art dans la génération de résultats d'inpainting plus nets, cohérents et visuellement plausibles. Le code source et les modèles pré-entraînés seront disponibles.