Revitalisierung der Faltungsnetzwerke für die Bildrekonstruktion

Die Bildrekonstruktion zielt darauf ab, aus einer beschädigten Version eines Bildes ein hochwertiges Bild wiederherzustellen und spielt in vielen Anwendungsszenarien eine entscheidende Rolle. In den letzten Jahren hat sich der Ansatz der Bildrekonstruktion von herkömmlichen Faltungsneuralen Netzen (CNNs) hin zu Transformer-basierten Modellen gewandelt, da diese eine stärkere Fähigkeit zur Modellierung langreichweiter Pixel-Interaktionen besitzen. In diesem Artikel untersuchen wir das Potenzial von CNNs für die Bildrekonstruktion und zeigen, dass die vorgeschlagene einfache Faltungsnetzarchitektur, ConvIR genannt, die Leistung von Transformer-basierten Modellen gleichwertig oder sogar übertrifft. Durch eine erneute Analyse der Eigenschaften fortschrittlicher Bildrekonstruktionsalgorithmen identifizieren wir mehrere zentrale Faktoren, die zur Leistungssteigerung von Rekonstruktionsmodellen beitragen. Dies motiviert uns, ein neues Netzwerk für die Bildrekonstruktion auf Basis kostengünstiger Faltungsoperatoren zu entwickeln. Umfassende Experimente belegen, dass ConvIR auf 20 Benchmark-Datensätzen über fünf repräsentative Aufgaben der Bildrekonstruktion – einschließlich Bildentnebelung, Bildentunschärfung durch Bewegung oder Fokusabweichung, Bildentregen und Bildentschneefall – eine state-of-the-art-Leistung mit geringem Berechnungsaufwand erzielt.