SUPIR erweitert zur Exzellenz: Praktische Modellskalierung für die Wiederherstellung fotorealistischer Bilder im Freien

I. Einführung in das Tutorial

SUPIR (Scaling-Up Image Restoration) ist eine bahnbrechende Methode zur Bildwiederherstellung und Qualitätsverbesserung. Das entwickelte Modell nutzt ein großes generatives Modell namens Stable Diffusion XL (SDXL) sowie Techniken zur Modellskalierung. Durch den Einsatz von Deep Learning und multimodalen Ansätzen ermöglicht es die hochwertige Wiederherstellung von Bildern niedriger Qualität. Es kann Bilder mit geringer Auflösung auf hohe Auflösungen hochskalieren, wobei Details und Realismus erhalten bleiben. SUPIR bewältigt verschiedene komplexe Degradationsfälle wie Unschärfe, Rauschen und Komprimierungsartefakte, um so eine qualitativ hochwertige Rekonstruktion zu erzielen – dabei werden niedrigauflösende Bilder vergrößert, ohne dass Details oder der realistische Eindruck leiden.

Die Methode unterstützt zudem eine feine Steuerung der Bildwiederherstellung über Text-Prompts und passt die verschiedenen Aspekte der Restauration entsprechend den Eingaben des Nutzers an. SUPIR wurde gemeinsam von Forschern des Shenzhen Institute of Advanced Technology der Chinesischen Akademie der Wissenschaften, dem Shanghai AI Laboratory, der Universität Sydney, der Hong Kong Polytechnic University, des Tencent ARC Labors und der Chinesischen Universität Hongkong entwickelt. Die zugehörige Forschungsarbeit trägt den Titel „[Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild]" (https://arxiv.org/abs/2401.13627)) und wurde vom CVPR 2024 angenommen.

Für dieses Tutorial wird Hardware mit zwei RTX-5090-Grafikkarten verwendet. Die maximale Dateigröße beträgt 1,5 MB.

👉 Dieses Projekt stellt zwei Modelle bereit:

• SUPIR-v0Q: Standardtrainingskonfiguration. Bietet in den meisten Fällen eine starke Generalisierungsfähigkeit und hohe Bildqualität.

• SUPIR-v0F: Trainiert unter Bedingungen mit absichtlich verschlechterter Lichtqualität. Der Stage-1-Codierer SUPIR-v0F behält auch bei schlechter Beleuchtung mehr Details bei.

Beispielprojekte

II. Durchführungsschritte

1. Nach Starten des Containers können Sie durch Klicken auf die API-Adresse direkt zur Weboberfläche gelangen.

Wenn keine Option „Modelle“ angezeigt wird, bedeutet dies, dass das Modell noch initialisiert wird. Da das Modell sehr groß ist, warten Sie bitte etwa fünf Minuten und laden Sie dann die Seite neu.

2. Sobald Sie sich in der Webseite befinden, können Sie interaktiv mit dem Modell kommunizieren.

Anleitung zur Nutzung

Zitierinformationen

Bitte verwenden Sie folgende Informationen, wenn Sie diese Arbeit zitieren möchten:

@misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}