ShadowDiffusion: Wenn Degradationsprior auf Diffusionsmodell trifft für Schattenentfernung

Kürzliche Methoden des tiefen Lernens haben vielversprechende Ergebnisse bei der Entfernung von Bildschatten erzielt. Dennoch leiden die restaurierten Bilder noch unter unzufriedenstellenden Randschwierigkeiten, aufgrund des Mangels an Degradationspriori-Integration und der mangelnden Modellkapazität. Unsere Arbeit befasst sich mit diesen Problemen durch den Vorschlag eines einheitlichen Diffusionsrahmens, der sowohl das Bild- als auch das Degradationspriori für eine hochwirksame Schattenentfernung integriert. Im Detail schlagen wir zunächst ein Schattendegradationsmodell vor, das uns inspiriert hat, ein neues entfaltendes Diffusionsmodell zu entwickeln, welches wir ShadowDiffusion nennen. Es verbessert die Modellkapazität in der Schattenentfernung erheblich durch schrittweise Verfeinerung des gewünschten Outputs mit Hilfe von Degradationspriori und diffusivem Generativen Priori, was von Natur aus als neue starke Baseline für die Bildrestauration dienen kann. Darüber hinaus verfeinert ShadowDiffusion die geschätzte Schattenmaske schrittweise als Nebenaufgabe des Diffusionsgenerators, was zu genauerer und robusterer Schattenfreiger-Bildgenerierung führt. Wir führen umfangreiche Experimente auf drei gängigen öffentlichen Datensätzen durch, einschließlich ISTD, ISTD+ und SRD (Synthetic and Realistic Shadow Dataset), um die Effektivität unserer Methode zu überprüfen. Verglichen mit den bisher besten Methoden erreicht unser Modell einen signifikanten Fortschritt in Bezug auf den PSNR-Wert (Peak Signal-to-Noise Ratio), indem es sich vom 31,69 dB auf 34,73 dB beim SRD-Datensatz verbessert.