SUPIR : Vers l'excellence – Pratique de la mise à l'échelle des modèles pour restaurer des images réalistes dans la nature

I. Introduction au tutoriel

SUPIR (Scaling-Up Image Restoration) est une méthode révolutionnaire de restauration d'image et d'amélioration de la qualité visuelle. Son modèle construit exploite un grand modèle génératif, Stable Diffusion XL (SDXL), ainsi que les techniques de mise à l'échelle des modèles. Grâce au deep learning et aux approches multimodales, il permet une haute restitution des images de faible qualité. Il peut agrandir des images basse résolution vers une haute résolution tout en préservant les détails et le réalisme de l'image. SUPIR prend en charge divers cas complexes de dégradation tels que le flou, le bruit ou la compression, assurant ainsi une restauration de grande qualité qui augmente la résolution tout en maintenant les détails et le caractère naturel de l’image.

Cette méthode offre également un contrôle fin de la restauration via des invites textuelles, permettant d’ajuster différents aspects du résultat selon les entrées utilisateur. SUPIR a été développé conjointement par des chercheurs provenant de l’Institut Shenzhen Avancé de Technologie de l’Académie chinoise des sciences, du Shanghai AI Lab, de l’université de Sydney, de l’université polytechnique de Hong Kong, du Tencent ARC Laboratory et de l’université chinoise de Hong Kong. L'article associé s'intitule « Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild » (https://arxiv.org/abs/2401.13627]), accepté lors de CVPR 2024.

Ce tutoriel utilise deux cartes graphiques NVIDIA RTX 5090 comme ressources matérielles. La taille maximale autorisée pour les images est fixée à 1,5 Mo.

👉 Ce projet propose deux versions du modèle :

• SUPIR-v0Q : Paramètres d'entraînement par défaut. Offre généralement une meilleure capacité généralisatrice et une plus haute qualité d'image.

• SUPIR-v0F : Entraîné avec des paramètres dégradés liés à la luminosité. Le encodeur Stage1 SUPIR-v0F conserve davantage de détails même lorsque la luminosité est réduite.

Exemples du projet

II. Étapes d’exécution

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface web

Si vous ne voyez pas l'onglet "Modèle", cela signifie qu'il initialise encore. En raison de sa grande taille, veuillez patienter environ cinq minutes avant de rafraîchir la page.

2. Une fois connecté à la page web, commencez à interagir avec le modèle

Étapes d'utilisation

Informations de citation

Les informations relatives à ce projet sont indiquées ci-dessous :

@misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}