HyperAIHyperAI

Command Palette

Search for a command to run...

ASteISR : Adaptation d'un modèle pré-entraîné de super-résolution d'image unique pour une super-résolution stéréoscopique efficace

Yuanbo Zhou Yuyang Xue Wei Deng Xinlin Zhang Qinquan Gao Tong Tong

Résumé

Malgré les progrès réalisés dans le paradigme de pré-entraînement puis d'ajustement fin en tâches de vision bas niveau, des défis importants subsistent, notamment en ce qui concerne l'augmentation de la taille des modèles pré-entraînés, tels que l'utilisation de la mémoire et le temps d'entraînement. Un autre problème souvent rencontré est celui des résultats insatisfaisants obtenus lors de l'application directe de modèles pré-entraînés pour une seule image à un domaine multi-images. Dans cet article, nous proposons une méthode efficace pour transférer un réseau transformateur pré-entraîné pour la sur-résolution d'une seule image (SISR) au domaine de la sur-résolution stéréoscopique d'images (SteISR) grâce à une méthode d'ajustement fin paramétriquement efficace (PEFT). Plus précisément, nous introduisons les concepts d'adaptateurs stéréoscopiques et d'adaptateurs spatiaux, qui sont intégrés au réseau transformateur SISR pré-entraîné. Par la suite, le modèle SISR pré-entraîné est figé, ce qui nous permet d'ajuster finement les adaptateurs en utilisant des jeux de données stéréoscopiques uniquement. En adoptant cette méthode d'entraînement, nous améliorons la capacité du modèle SISR à inférer correctement les images stéréoscopiques de 0,79 dB sur l'ensemble de données Flickr1024. Cette méthode nous permet également de n'entraîner que 4,8 % des paramètres du modèle original, atteignant des performances de pointe sur quatre benchmarks SteISR couramment utilisés. Comparée à l'approche plus complexe de l'ajustement fin complet, notre méthode réduit respectivement le temps d'entraînement et la consommation mémoire de 57 % et 15 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ASteISR : Adaptation d'un modèle pré-entraîné de super-résolution d'image unique pour une super-résolution stéréoscopique efficace | Articles | HyperAI