HyperAIHyperAI

Command Palette

Search for a command to run...

LoFormer : Transformateur de fréquence locale pour le flou d'image

Xintian Mao Jiansheng Wang Xingran Xie Qingli Li Yan Wang

Résumé

En raison de la complexité computationnelle de l'attention auto-associative (SA), les techniques courantes pour le flou d'image se contentent souvent d'adopter une attention auto-associative localisée ou des méthodes globales à granularité grossière, chacune présentant des inconvénients tels qu'une modélisation globale compromise ou un manque de corrélation fine. Afin de surmonter ce problème en modélisant efficacement les dépendances à longue portée sans sacrifier les détails fins, nous proposons une nouvelle approche nommée Local Frequency Transformer (LoFormer). Dans chaque unité de LoFormer, nous intégrons une attention auto-associative canal par canal dans le domaine fréquentiel (Freq-LC), permettant de capturer simultanément les covariances croisées au sein de fenêtres locales à basse et haute fréquence. Ces opérations offrent deux avantages principaux : (1) assurer des opportunités d'apprentissage équitables tant pour les structures à granularité grossière que pour les détails fins, et (2) explorer un éventail plus large de propriétés représentationnelles par rapport aux méthodes d'attention globale à granularité grossière. Par ailleurs, nous introduisons un mécanisme de porte MLP complémentaire à Freq-LC, qui permet de filtrer les caractéristiques non pertinentes tout en renforçant les capacités d'apprentissage global. Nos expérimentations montrent que LoFormer améliore significativement les performances sur la tâche de déflouage d'image, atteignant un PSNR de 34,09 dB sur le jeu de données GoPro avec 126 G FLOPs. https://github.com/DeepMed-Lab-ECNU/Single-Image-Deblur


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
LoFormer : Transformateur de fréquence locale pour le flou d'image | Articles | HyperAI