Residual Transformer Fusion Network für Salt-and-Pepper-Bildentrauschung

Das Convolutional Neural Network (CNN) wird weithin in unstrukturierten Datensätzen eingesetzt, wobei Bildentrauschung eine zentrale Anwendung darstellt. Bildentrauschung ist ein Prozess der Rekonstruktion verrauschter Bilder, der darauf abzielt, durch verschiedene Strategien zusätzliche Rauschkomponenten zu reduzieren. Ein bekanntes Problem bei Bildentrauschungsmethoden ist die Notwendigkeit vorheriger Kenntnisse über die Rauschstruktur. Um dieses Problem zu überwinden, wird eine kombinierte Architektur aus Convolutional Vision Transformer (CvT) und Residual Networks (ResNet) verwendet, die als Residual Transformer Fusion Network (RTF-Net) bezeichnet wird. Im Allgemeinen lässt sich dieser Ansatz in zwei Hauptkomponenten unterteilen: das Noise Suppression Network (NSN) und das Structure Enhancement Network (SEN). Im NSN wird ein Residual-Block eingesetzt, um die Rauschstruktur im Bild zu lernen, während im SEN der CvT verwendet wird, um feinere Details zu erfassen, die zur Verbesserung des bereits vom NSN verarbeiteten Bildes beitragen. Das Modell wurde mit dem DIV2K Training Set trainiert und anhand des DIV2K Validation Set validiert. Anschließend wurde das Modell anhand der Bilder Lena, Bridge, Pepper und BSD300 mit Rauschpegeln von 30 %, 50 % und 70 % getestet. Die Ergebnisse wurden mit den Methoden DBA, NASNLM, PARIGI, NLSF, NLSF-MLP und NLSF-CNN hinsichtlich der PSNR-Werte verglichen. Die Testergebnisse zeigen, dass die vorgeschlagene Methode in allen Fällen überlegen ist, mit Ausnahme des Bildes Pepper bei einem Rauschpegel von 30 %, bei dem NLSF-CNN mit einem PSNR-Wert von 32,99 dB die beste Leistung erzielt, während die vorgeschlagene Methode einen PSNR-Wert von 31,70 dB erreicht.