HyperAIHyperAI

Command Palette

Search for a command to run...

Exploration de l'optimisation inspirée par la fréquence dans les Transformers pour une super-résolution d'image unique efficace

Ao Li Le Zhang Yun Liu Ce Zhu

Résumé

Les méthodes basées sur les transformateurs ont fait preuve d’un potentiel remarquable dans la super-résolution d’image unique (SISR) grâce à leur capacité à extraire efficacement des dépendances à longue portée. Toutefois, la plupart des recherches actuelles dans ce domaine se concentrent principalement sur la conception de blocs transformateurs pour capter des informations globales, tout en négligeant l’importance de l’intégration de priori de haute fréquence, ce que nous estimons pouvoir être bénéfique. Dans notre étude, nous avons mené une série d’expériences et constaté que les structures transformateurs sont particulièrement efficaces pour capturer les informations à basse fréquence, mais présentent une capacité limitée à modéliser les représentations à haute fréquence par rapport à leurs homologues convolutifs. Pour remédier à cela, nous proposons une solution intitulée CRAFT (Cross-Refinement Adaptive Feature Modulation Transformer), qui combine les avantages des architectures convolutives et transformateurs. Celle-ci se compose de trois composants clés : le bloc résiduel d’amélioration de haute fréquence (HFERB), conçu pour extraire les informations à haute fréquence ; le bloc d’attention à fenêtre rectangulaire décalée (SRWAB), dédié à la capture d’informations globales ; et le bloc de fusion hybride (HFB), chargé de raffiner la représentation globale. Afin de surmonter les complexités inhérentes aux structures transformateurs, nous introduisons une méthode de quantification post-entraînement (PTQ) guidée par la fréquence, visant à améliorer l’efficacité de CRAFT. Cette stratégie intègre des mécanismes d’écrêtage dual adaptatif et de raffinement des bornes. Pour renforcer la polyvalence de notre approche, nous étendons notre méthode PTQ afin qu’elle puisse servir de méthode générale de quantification pour les techniques SISR basées sur les transformateurs. Nos résultats expérimentaux démontrent la supériorité de CRAFT par rapport aux méthodes de pointe actuelles, tant dans les scénarios à précision pleine que dans ceux de quantification. Ces résultats soulignent l’efficacité et la généralité de notre stratégie PTQ. Le code source est disponible à l’adresse suivante : https://github.com/AVC2-UESTC/Frequency-Inspired-Optimization-for-EfficientSR.git.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp