Wiederherstellung der Sicht bei ungünstigen Wetterbedingungen mit patchbasierten Denoising-Diffusionsmodellen

Die Bildrestauration unter ungünstigen Wetterbedingungen ist für verschiedene Anwendungen im Bereich der Computer Vision von erheblichem Interesse. Neuere erfolgreiche Methoden basieren auf aktuellen Fortschritten in der Architekturgestaltung tiefer neuronaler Netze (z.B. mit Vision Transformers). Inspiriert durch die jüngsten Erfolge, die mit den neuesten bedingten generativen Modellen erzielt wurden, präsentieren wir einen neuen patchbasierten Algorithmus zur Bildrestauration, der auf denoising diffusion probabilistischen Modellen basiert. Unser patchbasierter Diffusionsmodellansatz ermöglicht eine skalierungsfreie Bildrestauration durch einen geleiteten Denoising-Prozess mit glättenden Rauschschätzungen über sich überlappende Patches während der Inferenz. Wir evaluieren unser Modell empirisch anhand von Benchmark-Datensätzen für die Entfernung von Schnee (desnowing), kombinierte Regen- und Nebelentfernung (combined deraining and dehazing) sowie Regentropfenentfernung. Wir zeigen, dass unser Ansatz sowohl bei wetterspezifischer als auch bei multivariater Bildrestauration Stand-der-Technik-Leistungen erreicht, und demonstrieren experimentell eine starke Generalisierungsfähigkeit auf reale Testbilder.