HyperAIHyperAI

Command Palette

Search for a command to run...

Dépasser la limite de fenêtre locale : Transformateur de super-résolution avancé avec un dictionnaire adaptatif de tokens

Leheng Zhang Yawei Li Xingyu Zhou Xiaorui Zhao Shuhang Gu

Résumé

La super-résolution d’image unique est un problème classique de vision par ordinateur consistant à estimer des images à haute résolution (HR) à partir de leurs contreparties à basse résolution (LR). Bien que les réseaux neuronaux profonds (DNN), et plus particulièrement les Transformers appliqués à la super-résolution, aient connu des progrès significatifs ces dernières années, des défis subsistent encore, notamment celui du champ de réception limité induit par l’attention auto-orientée basée sur fenêtres. Pour relever ces difficultés, nous introduisons une série de dictionnaires de jetons adaptatifs auxiliaires dans le cadre du Transformer de super-résolution, et proposons une méthode baptisée ATD-SR. Le dictionnaire de jetons introduit permet d’apprendre des informations a priori à partir des données d’entraînement, puis d’adapter ces informations apprises à une image de test spécifique grâce à une étape de raffinement adaptatif. Cette stratégie de raffinement fournit non seulement des informations globales à tous les jetons d’entrée, mais permet également de regrouper les jetons d’image en catégories. À partir de ces partitions catégorielles, nous proposons par la suite un mécanisme d’attention auto-orientée basé sur les catégories, conçu pour exploiter des jetons éloignés mais similaires afin d’améliorer les caractéristiques d’entrée. Les résultats expérimentaux démontrent que notre méthode atteint les meilleurs performances sur diverses benchmarks de super-résolution d’image unique.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp