Reizende Ergebnisse zur Frequenzauswahl für die Bildentunschärfung

Die Unschärfe wurde naturgemäß im Frequenzbereich analysiert, indem man das latente scharfe Bild und den Unschärfekern aus einem unscharfen Bild schätzte. In jüngster Zeit werden bei der Bildentunschärfung stets end-to-end-Architekturen entworfen, die darauf abzielen, die Differenz zwischen unscharfen und scharfen Bildpaaren auf Pixel-Ebene zu lernen – was die Bedeutung der Unschärfekerne zwangsläufig vernachlässigt. Diese Arbeit enthüllt ein faszinierendes Phänomen: Die einfache Anwendung der ReLU-Operation im Frequenzbereich eines unscharfen Bildes, gefolgt von einer inversen Fourier-Transformation, also eine Frequenzauswahl, liefert verlässliche Informationen über die Unschärfemuster (z. B. Unschärferichtung und -grad), wobei die Kernstruktur implizit erfasst wird. Ausgehend von dieser Beobachtung versuchen wir, kernbasierte Informationen für Bildentunschärfungsnetzwerke zu nutzen, indem wir Fourier-Transformation, ReLU-Operation und inverse Fourier-Transformation in den Standard-ResBlock integrieren. Zusätzlich wird ein 1×1-Konvolutionsschicht hinzugefügt, um dem Netzwerk zu ermöglichen, flexible Schwellenwerte für die Frequenzauswahl zu modulieren. Wir bezeichnen unseren neu entwickelten Block als Res FFT-ReLU-Block, der durch die Lernung von dualen Frequenz-Raum-Darstellungen die Vorteile sowohl kernbasierter als auch pixelbasierter Merkmale nutzt. Um die Erkenntnisse der Methode umfassend zu analysieren, wurden umfangreiche Experimente durchgeführt. Darüber hinaus erreicht unsere Methode nach Einbau des vorgeschlagenen Blocks in NAFNet eine PSNR von 33,85 dB auf dem GoPro-Datensatz. Unser Ansatz verbessert die Grundarchitekturen signifikant, ohne viele zusätzliche Parameter einzuführen, und behält gleichzeitig eine geringe Berechnungskomplexität bei. Der Quellcode ist unter https://github.com/DeepMed-Lab/DeepRFT-AAAI2023 verfügbar.