Ein bergförmiges einstufiges Netzwerk für genaue Bildrestauration

Bildrestauration ist die Aufgabe, aus einem verfälschten Eingangsbild ein hochwertiges Bild zu erhalten, wie zum Beispiel das Entfernen von Unschärfe und Regen. Bei der Bildrestauration ist es in der Regel notwendig, einen komplexen Balanceakt zwischen räumlichen Details und kontextueller Information durchzuführen. Obwohl ein mehrstufiges Netzwerk diese widersprüchlichen Ziele optimal ausgleichen und eine erhebliche Leistung erzielen kann, erhöht dies auch die Komplexität des Systems. In dieser Arbeit schlagen wir eine bergförmige Einzelschrittarchitektur vor, die auf einer einfachen U-Net-Architektur basiert. Diese Architektur entfernt oder ersetzt überflüssige nichtlineare Aktivierungsfunktionen, um den oben genannten Ausgleich bei geringer Systemkomplexität zu erreichen. Insbesondere schlagen wir einen Feature-Fusion-Middleware (FFM)-Mechanismus als Informationsaustauschkomponente zwischen den Encoder-Decoder-Ebenen vor. Er integriert die Informationen der oberen Schichten nahtlos in die benachbarte untere Schicht, bis hinunter zur tiefsten Schicht. Schließlich werden alle Informationen auf der Ebene der ursprünglichen Bildauflösung zusammengeführt. Dies bewahrt räumliche Details und integriert kontextuelle Informationen, um eine hochwertige Bildrestauration sicherzustellen. Darüber hinaus schlagen wir einen Multi-Head Attention Middle Block (MHAMB) als Brücke zwischen Encoder und Decoder vor, um mehr globale Informationen zu erfassen und die Einschränkungen des Rezeptivfelds von CNNs zu überwinden. Umfangreiche Experimente zeigen, dass unser Ansatz, M3SNet genannt, bei verschiedenen Bildrestaurationsaufgaben wie dem Entfernen von Regen und Unschärfe die bisherigen Standesmodelle übertreffen kann, während er weniger als die Hälfte der Rechenkosten benötigt.