Command Palette
Search for a command to run...
DiffBIR: Auf dem Weg zur blinden Bildrestauration mit generativen Diffusionspriors
DiffBIR: Auf dem Weg zur blinden Bildrestauration mit generativen Diffusionspriors
Xinqi Lin Jingwen He Ziyan Chen Zhaoyang Lyu Bo Dai Fanghua Yu Wanli Ouyang Yu Qiao Chao Dong
Zusammenfassung
Wir präsentieren DiffBIR, eine allgemeine Restaurationspipeline, die verschiedene Aufgaben der blinden Bildrestauration in einem einheitlichen Framework bearbeiten kann. DiffBIR trennt das Problem der blinden Bildrestauration in zwei Phasen: 1) Degradationserkennung: Entfernen von inhaltsunabhängigen Verzerrungen; 2) Informationsregeneration: Generieren des verlorenen Bildinhalts. Jede Phase wird unabhängig entwickelt, arbeitet aber nahtlos im Kaskadenmodus zusammen. In der ersten Phase verwenden wir Restaurationsmodule, um Verzerrungen zu entfernen und hochwertige restaurierte Ergebnisse zu erzielen. Für die zweite Phase schlagen wir IRControlNet vor, das die generativen Fähigkeiten von latente Diffusionsmodellen nutzt, um realistische Details zu generieren. Speziell wurde IRControlNet auf Basis speziell erstellter Bedingungsbilder ohne ablenkende Rauschinhalt trainiert, um eine stabile Generierungslistung zu gewährleisten. Darüber hinaus haben wir eine regionale anpassbare Restaurationsleitung entwickelt, die den Entrauschungsprozess während der Inferenz ohne erneutes Modelltraining modifizieren kann und es Benutzern ermöglicht, Realismus und Treue durch einen einstellbaren Leitungsskalierer zu balancieren. Umfangreiche Experimente haben gezeigt, dass DiffBIR bei blinden Bildsuperresolution-, blinden Gesichtsrestaurations- und blinden Bildentrauschungsaufgaben sowohl auf synthetischen als auch auf realen Datensätzen den state-of-the-art-Ansätzen überlegen ist. Der Code ist unter https://github.com/XPixelGroup/DiffBIR verfügbar.