HyperAIHyperAI

Command Palette

Search for a command to run...

Complétion d’image pluraliste de haute fidélité avec des Transformers

Ziyu Wan Jingbo Zhang Dongdong Chen Jing Liao

Résumé

La complétion d’image a connu des progrès considérables grâce aux réseaux de neurones convolutifs (CNN), en raison de leur puissante capacité à modéliser les textures. Toutefois, en raison de certaines propriétés intrinsèques (par exemple, les prioris inductifs locaux, les noyaux invariants spatialement), les CNN peinent à comprendre les structures globales ou à supporter naturellement une complétion pluraliste. Récemment, les transformateurs ont démontré leur efficacité dans la modélisation des relations à long terme et la génération de résultats diversifiés, mais leur complexité computationnelle est quadratique par rapport à la longueur d’entrée, ce qui limite leur application dans le traitement d’images à haute résolution. Ce papier combine les avantages des deux approches pour la complétion pluraliste d’images : la reconstruction de priori d’apparence par transformateur et le réapprovisionnement de textures par CNN. Le premier transformateur récupère des structures cohérentes pluralistes ainsi qu’une partie de textures grossières, tandis que le second CNN améliore les détails locaux de texture des prioris grossiers, guidés par les images masquées à haute résolution. La méthode proposée surpasse largement les approches de pointe sur trois aspects : 1) une amélioration significative de la fidélité des images, même par rapport aux méthodes déterministes ; 2) une meilleure diversité et une fidélité plus élevée pour la complétion pluraliste ; 3) une capacité exceptionnelle de généralisation sur des masques de grande taille et sur des jeux de données génériques, tels que ImageNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Complétion d’image pluraliste de haute fidélité avec des Transformers | Articles | HyperAI