Gemischtes Hierarchisches Netzwerk für Bildrestauration

Bildrestauration ist ein langjähriges Problem der niedrigstufigen Bildverarbeitung, wie zum Beispiel die Entfernung von Unschärfe und Regen. Im Prozess der Bildrestauration ist es notwendig, nicht nur die räumlichen Details und den kontextuellen Informationsgehalt zu berücksichtigen, um die Qualität zu gewährleisten, sondern auch die Systemkomplexität. Obwohl viele Methoden in der Lage sind, die Qualität der Bildrestauration sicherzustellen, nimmt die Systemkomplexität der Stand-of-the-Art-(SOTA)-Methoden ebenfalls zu. Aus diesem Grund präsentieren wir ein gemischtes Hierarchienetzwerk, das diese konkurrierenden Ziele ausgleichen kann. Unser Hauptvorschlag ist eine gemischte Hierarchiearchitektur, die kontextuelle Informationen und räumliche Details schrittweise aus verschlechterten Bildern wiederherstellt, während wir Intra-Blöcke entwerfen, um die Systemkomplexität zu reduzieren. Speziell lernt unser Modell zunächst die kontextuellen Informationen unter Verwendung von Encoder-Decoder-Architekturen und kombiniert diese anschließend mit hochaufgelösten Zweigen, die räumliche Details bewahren. Um die Systemkomplexität dieser Architektur für eine einfache Analyse und Vergleichbarkeit zu reduzieren, ersetzen oder entfernen wir die nichtlineare Aktivierungsfunktion durch Multiplikation und verwenden eine einfache Netzwerkstruktur. Darüber hinaus ersetzen wir in dem mittleren Block des Encoder-Decoders den räumlichen Faltungsvorgang durch globale Selbst-Aufmerksamkeit (Self-Attention). Das resultierende eng miteinander verbundene Hierarchienetzwerk, als MHNet bezeichnet, erzielt signifikante Leistungsverbesserungen bei mehreren Aufgaben der Bildrestauration, einschließlich der Entfernung von Regen und Unschärfe.