SUPIR の拡張と卓越性への到達：屋外での写実的な画像復元に向けたモデルスケーリングの実践

I. チュートリアル概要

SUPIR（Scaling-Up Image Restoration）は、画期的な画像修復および画質向上手法です。この手法で構築されたモデルは、大規模な生成モデルである Stable Diffusion XL (SDXL) とモデルスケーリング技術を活用し、ディープラーニングやマルチモーダルアプローチを通じて、低品質な画像から高品質な復元を実現します。これにより、解像度の低い画像を高解像度にアップスケールしながらも、画像の詳細とリアリティを維持することが可能になります。SUPIR は、ぼかし、ノイズ、圧縮など、さまざまな複雑な劣化状況に対応でき、結果として高品質な画像復元を提供します。

また、この方法はテキストプロンプトによる画像復元の細かな制御をサポートしており、ユーザーの入力に応じて復元の各側面を調整することができます。SUPIR は、中国科学院深セン先進技術研究院、Shanghai AI Laboratory、シドニー大学、香港理工科大学、Tencent ARC Lab、そして香港中国大学の研究者たちによって共同開発されました。関連論文『Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild』は https://arxiv.org/abs/2401.13627 にて公開され、CVPR 2024 で採択されています。

本チュートリアルのリソース環境はデュアル GPU RTX 5090 です。画像サイズの制限は 1.5 MB です。

👉 プロジェクトでは以下の2種類のモデルが提供されます：

• SUPIR-v0Q：デフォルトのトレーニング設定。ほとんどのケースにおいて高い汎用性と優れた画像品質を発揮します。

• SUPIR-v0F：照明条件が悪化した状態での学習が行われています。ステージ1エンコーダーである SUPIR-v0F は、照明品質が低下してもより多くの詳細情報を保持します。

プロジェクト例

II. 実行手順

1. コンテナ起動後、「API アドレス」をクリックすると Web インターフェースに入ります

「Models（モデル）」が表示されない場合は、モデルが初期化中であることを意味します。モデルサイズが大きいため、約5分待ってからページを更新してください。

2. ウェブサイトに入った後は、モデルとの対話が可能になります

使用方法

引用情報

本プロジェクトの引用情報は以下の通りです：

@misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}