Modèle de Restauration Universel par Adaptation Efficace aux Dégradations

Avec la prolifération des appareils mobiles, le besoin d'un modèle efficace pour restaurer toute image dégradée est devenu de plus en plus important et significatif. Les approches traditionnelles impliquent généralement l'entraînement de modèles dédiés pour chaque type spécifique de dégradation, ce qui entraîne une inefficacité et une redondance. Les solutions plus récentes introduisent soit des modules supplémentaires pour apprendre des prompts visuels, augmentant considérablement la taille du modèle, soit un transfert inter-modal à partir de grands modèles linguistiques formés sur des jeux de données massifs, ajoutant ainsi de la complexité à l'architecture du système. En revanche, notre approche, nommée RAM (Restoration Aware Model), adopte une voie unifiée qui exploite les similarités inhérentes entre différentes dégradations pour permettre une restauration à la fois efficace et complète par le biais d'un mécanisme d'embedding conjoint sans augmenter la taille du modèle ni s'appuyer sur des grands modèles multimodaux.Plus précisément, nous examinons l'espace sous-latent de chaque entrée, identifiant les composants clés et les repondérant de manière contrôlée par des portes. Cette prise de conscience intrinsèque des dégradations est ensuite combinée avec une attention contextuelle dans un cadre en forme de X, améliorant ainsi les interactions locales-globales. Des évaluations exhaustives dans un cadre de restauration intégrée confirment les performances SOTA (State-of-the-Art) de RAM, réduisant la complexité du modèle d'environ 82% en paramètres entraînables et 85% en FLOPs (Floating Point Operations). Notre code et nos modèles seront mis à disposition publiquement.