HyperAIHyperAI

Command Palette

Search for a command to run...

Inpainting d'image par raffinement en cascade entièrement end-to-end avec prise en compte du masque

Manyu Zhu Dongliang He Xin Li Chao Li Fu Li Xiao Liu Errui Ding Zhaoxiang Zhang

Résumé

Le remplissage de régions manquantes arbitraires est un défi car l’apprentissage de caractéristiques valides pour diverses régions masquées n’est pas trivial. Bien que les architectures encodage-décodage en forme de U aient démontré leur efficacité, la plupart d’entre elles souffrent d’un défaut commun : l’aveuglement vis-à-vis du masque lors de l’extraction des caractéristiques. En effet, toutes les fenêtres de convolution (ou régions), y compris celles correspondant à des formes variées de pixels manquants, sont traitées de manière équivalente et filtrées à l’aide de noyaux appris de manière fixe. À cet effet, nous proposons une nouvelle solution de remplissage consciente du masque. Premièrement, un module de filtrage dynamique conscient du masque (MADF) est conçu pour apprendre efficacement des caractéristiques multi-échelles des régions manquantes lors de l’étape d’encodage. Plus précisément, les filtres associés à chaque fenêtre de convolution sont générés à partir des caractéristiques de la région correspondante du masque. La deuxième dimension de la prise en compte du masque est assurée par l’introduction de la Normalisation Point-à-Point (PN) dans l’étape de décodage, en considérant que les propriétés statistiques des caractéristiques aux points masqués diffèrent de celles aux points non masqués. La PN proposée résout ce problème en attribuant dynamiquement des facteurs d’échelle et des biais point par point. Enfin, notre modèle est conçu comme un système de raffinement en cascade end-to-end. Des informations de supervision telles que la perte de reconstruction, la perte perceptuelle et la perte de variation totale sont progressivement exploitées afin d’améliorer les résultats de remplissage, du brut au fin. L’efficacité du cadre proposé est validée de manière quantitative et qualitative à travers des expérimentations étendues sur trois jeux de données publics : Places2, CelebA et Paris StreetView.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Inpainting d'image par raffinement en cascade entièrement end-to-end avec prise en compte du masque | Articles | HyperAI