Restauration d'images intégrée basée sur des prompts et axée sur les ingrédients
La restauration d'images vise à récupérer des images de haute qualité à partir de leurs observations dégradées. Comme la plupart des méthodes existantes se concentrent sur l'élimination d'une seule forme de dégradation, elles peuvent ne pas produire des résultats optimaux pour d'autres types de dégradations, ce qui ne répond pas aux besoins des scénarios réels. Dans cet article, nous proposons une nouvelle approche orientée vers les ingrédients de données qui utilise l'apprentissage basé sur les prompts pour permettre à un seul modèle de traiter efficacement plusieurs tâches de dégradation d'images. Plus précisément, nous utilisons un encodeur pour capturer les caractéristiques et introduisons des prompts contenant des informations spécifiques à chaque type de dégradation afin de guider le décodeur dans la récupération adaptative des images affectées par diverses formes de dégradation. Pour modéliser les propriétés invariantes locales et les informations non-locales nécessaires à la restauration d'images de haute qualité, nous avons combiné des opérations CNN et des Transformers. En même temps, nous avons réalisé plusieurs conceptions clés dans les blocs Transformer (attention multi-têtes réorganisée avec prompts et réseau de neurones à propagation avant simplifiée) afin de réduire les exigences en matière de calcul et de déterminer sélectivement quelles informations doivent être conservées pour faciliter la récupération efficace d'images potentiellement nettes. De plus, nous avons intégré un mécanisme de fusion des caractéristiques qui explore davantage l'information multi-échelle pour améliorer les caractéristiques agrégées. L'architecture hiérarchique étroitement interconnectée résultante, nommée CAPTNet, fait l'objet d'expériences étendues qui montrent que notre méthode est compétitive par rapport à l'état de l'art.Note : - "CAPTNet" est conservé tel quel car c'est le nom du modèle proposé.- "multi-head rearranged attention with prompts" et "simple-gate feed-forward network" sont traduits littéralement car ces termes sont spécifiques au domaine et peu courants en français. Ils sont suivis par leur équivalent en anglais entre parenthèses pour assurer la clarté.