HyperAIHyperAI

Command Palette

Search for a command to run...

Modèle de Restauration Universel par Adaptation Efficace aux Dégradations

Bin Ren Eduard Zamfir Zongwei Wu Yawei Li Yidi Li Danda Pani Paudel Radu Timofte Ming-Hsuan Yang Nicu Sebe

Résumé

Avec la prolifération des appareils mobiles, le besoin d'un modèle efficace pour restaurer toute image dégradée est devenu de plus en plus important et significatif. Les approches traditionnelles impliquent généralement l'entraînement de modèles dédiés pour chaque type spécifique de dégradation, ce qui entraîne une inefficacité et une redondance. Les solutions plus récentes introduisent soit des modules supplémentaires pour apprendre des prompts visuels, augmentant considérablement la taille du modèle, soit un transfert inter-modal à partir de grands modèles linguistiques formés sur des jeux de données massifs, ajoutant ainsi de la complexité à l'architecture du système. En revanche, notre approche, nommée RAM (Restoration Aware Model), adopte une voie unifiée qui exploite les similarités inhérentes entre différentes dégradations pour permettre une restauration à la fois efficace et complète par le biais d'un mécanisme d'embedding conjoint sans augmenter la taille du modèle ni s'appuyer sur des grands modèles multimodaux.Plus précisément, nous examinons l'espace sous-latent de chaque entrée, identifiant les composants clés et les repondérant de manière contrôlée par des portes. Cette prise de conscience intrinsèque des dégradations est ensuite combinée avec une attention contextuelle dans un cadre en forme de X, améliorant ainsi les interactions locales-globales. Des évaluations exhaustives dans un cadre de restauration intégrée confirment les performances SOTA (State-of-the-Art) de RAM, réduisant la complexité du modèle d'environ 82% en paramètres entraînables et 85% en FLOPs (Floating Point Operations). Notre code et nos modèles seront mis à disposition publiquement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp