SUPIR 확장으로 우수성 달성: 야외에서 사진 같은 사실적인 이미지 복원을 위한 모델 스케일링 실습

Ⅰ. 튜토리얼 소개

SUPIR(Scaling-Up Image Restoration)은 혁신적인 이미지 복원 및 화질 향상 방법으로, 대규모 생성 모델인 Stable Diffusion XL(SDXL)과 모델 스케일링 기술을 활용하여 딥러닝 및 멀티모달 접근법을 통해 저품질 이미지의 고품질 복원을 실현합니다. 이 방법은 저해상도 이미지를 고해상도로 확대하면서도 이미지의 디테일과 사실감을 유지할 수 있습니다. SUPIR은 블러, 노이즈, 압축 등 다양한 복잡한 열화 상황을 처리하여 고품질의 이미지 복원을 가능하게 하며, 저해상도 이미지를 고해상도로 확대하면서 세부 사항과 현실감을 보존합니다.

또한 텍스트 프롬프트를 통한 정밀한 제어 기능을 지원하며, 사용자의 입력에 따라 복구 과정의 여러 측면을 조정할 수 있습니다. SUPIR은 중국과학원 선전 첨단기술연구원, 상하이 AI 연구소, 시드니 대학교, 홍콩 공과대학교, Tencent ARC 연구실, 그리고 중문대학의 연구진들이 공동 개발했으며, 관련 논문 결과는 "[Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild]"(https://arxiv.org/abs/2401.13627))로 발표되었으며 CVPR 2024에서 채택되었습니다.

본 튜토리얼에서는 두 개의 RTX 5090 GPU가 사용됩니다. 이미지 크기 제한은 1.5MB입니다.

👉 해당 프로젝트는 두 가지 유형의 모델을 제공합니다:

• SUPIR-v0Q: 기본 학습 설정. 대부분의 경우 더 높은 일반화 능력과 우수한 이미지 품질을 보여줍니다.

• SUPIR-v0F: 조명 조건이 나쁜 환경에서의 학습을 위해 훈련됨. Stage1 인코더인 SUPIR-v0F는 조명이 좋지 않은 상황에서도 더욱 많은 디테일을 보존합니다.

프로젝트 예시

Ⅱ. 실행 단계

1. 컨테이너 시작 후 API 주소 클릭하면 웹 인터페이스 진입 가능합니다

「모델」 항목이 표시되지 않는다면 이는 모델 초기화가 진행 중임을 의미합니다. 모델 크기가 크므로 약 5분 정도 기다린 뒤 페이지를 새로고침하세요.

2. 웹사이트 접속 후 바로 모델과 대화 시작 가능

사용 방법

인용 정보

본 프로젝트의 인용 정보는 다음과 같습니다:

@misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}