HyperAIHyperAI

Command Palette

Search for a command to run...

Restormer : Transformers efficaces pour la restauration d'images en haute résolution

Zamir Syed Waqas ; Arora Aditya ; Khan Salman ; Hayat Munawar ; Khan Fahad Shahbaz ; Yang Ming-Hsuan

Résumé

Étant donné que les réseaux neuronaux convolutifs (CNN) excellent à apprendre des a priori d'images généralisables à partir de données à grande échelle, ces modèles ont été largement appliqués à la restauration d'images et aux tâches connexes. Récemment, une autre classe d'architectures neuronales, les Transformers, a montré des gains de performance significatifs dans les tâches de traitement du langage naturel et de vision de haut niveau. Bien que le modèle Transformer atténue les faiblesses des CNN (c'est-à-dire un champ récepteur limité et une adaptabilité insuffisante au contenu d'entrée), sa complexité computationnelle augmente quadratiquement avec la résolution spatiale, ce qui rend son application impossible pour la plupart des tâches de restauration d'images impliquant des images haute résolution. Dans cette étude, nous proposons un modèle Transformer efficace en apportant plusieurs conceptions clés dans les blocs constitutifs (attention multi-têtes et réseau de neurones à propagation avant) afin qu'il puisse capturer les interactions entre pixels sur de longues distances tout en restant applicable aux grandes images. Notre modèle, nommé Restoration Transformer (Restormer), obtient des résultats d'état de l'art sur plusieurs tâches de restauration d'images, notamment la dépluie d'images, le déflouage de mouvement mono-image, le déflouage hors-focalisation (mono-image et données bicellulaires), et le débruitage d'images (débruitage gaussien en niveaux de gris/couleur et débruitage d'images réelles). Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/swz30/Restormer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp