HyperAIHyperAI

Command Palette

Search for a command to run...

Transformers génératifs adversariaux

Drew A. Hudson C. Lawrence Zitnick

Résumé

Nous introduisons le GANformer, un nouveau type de transformer novateur et efficace, que nous explorons pour la modélisation générative visuelle. Le réseau repose sur une structure bipartite permettant des interactions à longue portée à travers l'image, tout en maintenant une complexité computationnelle linéaire, ce qui lui confère une capacité d'évolutivité directe vers la synthèse à haute résolution. Il propage itérativement l'information entre un ensemble de variables latentes et les caractéristiques visuelles évoluant au fil du temps, dans les deux sens, afin de raffiner mutuellement chacun d'eux et de favoriser l'émergence de représentations compositionnelles d'objets et de scènes. Contrairement à l'architecture classique des transformeurs, il utilise une intégration multiplicative qui permet une modulation flexible basée sur des régions, et peut donc être vu comme une généralisation du réseau réussi StyleGAN. Nous démontrons la puissance et la robustesse du modèle grâce à une évaluation rigoureuse sur une variété de jeux de données, allant d'environnements simulés à plusieurs objets à des scènes réelles riches, intérieures et extérieures, montrant qu'il atteint des résultats de pointe en termes de qualité et de diversité des images, tout en bénéficiant d'une apprentissage rapide et d'une meilleure efficacité en données. Des expériences qualitatives et quantitatives complémentaires nous offrent une compréhension approfondie du fonctionnement interne du modèle, révélant une meilleure interprétabilité et une désenchevêtrement plus fort, illustrant ainsi les avantages et l'efficacité de notre approche. Une implémentation du modèle est disponible à l'adresse suivante : https://github.com/dorarad/gansformer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp