HyperAIHyperAI

Command Palette

Search for a command to run...

TR-MISR : Super-résolution multi-images basée sur la fusion de caractéristiques avec des Transformers

Chunhong Pan Lingfeng Wang Bin Xue Chunlei Huo Xin Zhang Tai An

Résumé

La super-résolution multi-images (MISR), l'une des voies les plus prometteuses en télédétection, est devenue une technique incontournable sur le marché des satellites. Une séquence d’images acquises par des satellites comporte souvent de nombreuses vues et une longue durée temporelle, ce qui rend l’intégration de plusieurs vues à faible résolution en une seule image haute résolution, riche en détails, un problème particulièrement difficile. Toutefois, la plupart des méthodes de MISR basées sur l’apprentissage profond ne parviennent pas à exploiter pleinement les images multiples. Leurs modules de fusion se révèlent incapables de s’adapter efficacement à des séquences d’images présentant des corrélations temporelles faibles. Pour surmonter ces limitations, nous proposons un nouveau cadre end-to-end, appelé TR-MISR. Il se compose de trois composants : un encodeur basé sur des blocs résiduels, un module de fusion fondé sur un transformateur, et un décodeur reposant sur une convolution de sous-pixels. Plus précisément, en réorganisant les cartes de caractéristiques multiples en vecteurs, le module de fusion peut attribuer une attention dynamique à la même région d’images satellites différentes en même temps. En outre, TR-MISR intègre un vecteur d’embedding apprenable supplémentaire, qui permet de fusionner ces vecteurs afin de restaurer au mieux les détails. Pour la première fois, TR-MISR applique de manière efficace le transformateur aux tâches de MISR, en réduisant notablement la difficulté d’entraînement du transformateur en ignorant les relations spatiales entre les patches d’image. Des expériences étendues menées sur le jeu de données PROBA-V Kelvin démontrent clairement l’efficacité du modèle proposé, offrant ainsi une méthode prometteuse pour l’application des transformateurs à d’autres tâches de vision basse-niveau.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
TR-MISR : Super-résolution multi-images basée sur la fusion de caractéristiques avec des Transformers | Articles | HyperAI