Deblurring durch realistische Verschmierung

Bekannte tiefen Lernmethoden für die Bildentunschärfung trainieren Modelle typischerweise an Paaren scharfer Bilder und ihrer entsprechenden verschwommenen Versionen. Allerdings modellieren synthetisch erzeugte Verschmierungen den tatsächlichen Verschmierungsprozess in realen Szenarien oft nicht ausreichend genau. Um dieses Problem anzugehen, schlagen wir eine neue Methode vor, die zwei GAN-Modelle kombiniert – ein „Learning-to-Blur“-GAN (BGAN) und ein „Learning-to-DeBlur“-GAN (DBGAN) –, um ein verbessertes Modell für die Bildentunschärfung zu lernen, wobei der Schwerpunkt auf dem Erlernen der Bildverschmierung liegt. Das erste Modell, BGAN, lernt, scharfe Bilder zu verschmieren, unter Verwendung von ungepaarter Datensätze aus scharfen und verschwommenen Bildern. Anschließend leitet es das zweite Modell, DBGAN, an, die korrekte Entunschärfung solcher Bilder zu erlernen. Um die Diskrepanz zwischen echter und synthetisch erzeugter Verschmierung zu verringern, wird eine relativistische Verschmierungsverlustfunktion eingesetzt. Als zusätzlicher Beitrag präsentiert diese Arbeit zudem eine neue Datenbank namens Real-World Blurred Image (RWBI), die vielfältige, in der Realität aufgenommene verschwommene Bilder enthält. Unsere Experimente zeigen, dass die vorgeschlagene Methode sowohl quantitativ konsistent überlegene Ergebnisse erzielt als auch eine höhere perceptuelle Qualität auf der neu vorgeschlagenen Datenbank sowie auf der öffentlichen GOPRO-Datenbank erreicht.