Inpainting d'images haute résolution avec retour itératif de confiance et upsampling guidé

Les méthodes existantes de restauration d’images rencontrent souvent des artefacts lorsqu’elles traitent des trous de grande taille dans des applications réelles. Pour relever ce défi, nous proposons une méthode itérative de restauration d’images basée sur un mécanisme de rétroaction. Plus précisément, nous introduisons un modèle génératif profond qui produit non seulement un résultat de restauration, mais également une carte de confiance correspondante. En utilisant cette carte comme signal de rétroaction, la méthode remplit progressivement le trou en ne s’appuyant que sur les pixels à haute confiance situés à l’intérieur du trou à chaque itération, tout en se concentrant sur les pixels restants lors de l’itération suivante. En réutilisant les prédictions partielles des itérations précédentes comme pixels connus, ce processus améliore progressivement le résultat. Par ailleurs, nous proposons un réseau de redimensionnement guidé permettant de générer des résultats de restauration à haute résolution. Cela est réalisé en étendant le module d’attention contextuelle afin d’emprunter des patches de caractéristiques à haute résolution présents dans l’image d’entrée. En outre, pour mieux simuler des scénarios réels de suppression d’objets, nous avons collecté un grand jeu de données de masques d’objets et synthétisé des données d’entraînement plus réalistes, qui reproduisent mieux les entrées utilisateurs. Les expérimentations montrent que notre méthode surpasse significativement les approches existantes, tant sur les évaluations quantitatives que qualitatives. Pour plus de résultats et accéder à l’application Web, rendez-vous à l’adresse suivante : https://zengxianyu.github.io/iic.