HyperAIHyperAI

Command Palette

Search for a command to run...

Restauration d'images intégrée basée sur des prompts et axée sur les ingrédients

Hu Gao Depeng Dang

Résumé

La restauration d'images vise à récupérer des images de haute qualité à partir de leurs observations dégradées. Comme la plupart des méthodes existantes se concentrent sur l'élimination d'une seule forme de dégradation, elles peuvent ne pas produire des résultats optimaux pour d'autres types de dégradations, ce qui ne répond pas aux besoins des scénarios réels. Dans cet article, nous proposons une nouvelle approche orientée vers les ingrédients de données qui utilise l'apprentissage basé sur les prompts pour permettre à un seul modèle de traiter efficacement plusieurs tâches de dégradation d'images. Plus précisément, nous utilisons un encodeur pour capturer les caractéristiques et introduisons des prompts contenant des informations spécifiques à chaque type de dégradation afin de guider le décodeur dans la récupération adaptative des images affectées par diverses formes de dégradation. Pour modéliser les propriétés invariantes locales et les informations non-locales nécessaires à la restauration d'images de haute qualité, nous avons combiné des opérations CNN et des Transformers. En même temps, nous avons réalisé plusieurs conceptions clés dans les blocs Transformer (attention multi-têtes réorganisée avec prompts et réseau de neurones à propagation avant simplifiée) afin de réduire les exigences en matière de calcul et de déterminer sélectivement quelles informations doivent être conservées pour faciliter la récupération efficace d'images potentiellement nettes. De plus, nous avons intégré un mécanisme de fusion des caractéristiques qui explore davantage l'information multi-échelle pour améliorer les caractéristiques agrégées. L'architecture hiérarchique étroitement interconnectée résultante, nommée CAPTNet, fait l'objet d'expériences étendues qui montrent que notre méthode est compétitive par rapport à l'état de l'art.Note : - "CAPTNet" est conservé tel quel car c'est le nom du modèle proposé.- "multi-head rearranged attention with prompts" et "simple-gate feed-forward network" sont traduits littéralement car ces termes sont spécifiques au domaine et peu courants en français. Ils sont suivis par leur équivalent en anglais entre parenthèses pour assurer la clarté.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp