Hierarchischer Informationsfluss für verallgemeinerte effiziente Bildrestauration

Während Visionstransformer in zahlreichen Bildrestaurierungsaufgaben (Image Restoration, IR) vielversprechende Ergebnisse zeigen, bleibt die Herausforderung bestehen, ein Modell effizient für mehrere IR-Aufgaben zu verallgemeinern und zu skalieren. Um einen Kompromiss zwischen Effizienz und Modellkapazität für eine verallgemeinerte transformerbasierte IR-Methode zu finden, schlagen wir ein hierarchisches Informationsflussmechanismus vor, der Hi-IR genannt wird. Dieser Mechanismus verbreitet die Informationen progressiv unter den Pixeln in aufsteigender Richtung.Hi-IR erstellt eine hierarchische Informationsstruktur, die das verschlechterte Bild auf drei Ebenen darstellt. Jede Ebene umfasst verschiedene Informationsarten: höhere Ebenen fassen breitere Objekte und Konzepte zusammen, während niedrigere Ebenen sich auf lokale Details konzentrieren. Zudem entfernt die hierarchische Struktur des Baums langreichweitige Selbst-Attention, verbessert die Recheneffizienz und den Speichereinsatz und bereitet das Modell so auf eine effektive Skalierung vor.Auf dieser Grundlage untersuchen wir die Modellskalierung, um die Fähigkeiten unserer Methode zu verbessern. Es wird erwartet, dass dies positiv auf die Bildrestaurierung in groß angelegten Trainingsumgebungen wirkt. Ausführliche experimentelle Ergebnisse zeigen, dass Hi-IR in sieben gängigen Bildrestaurierungsaufgaben Spitzenleistungen erzielt, was seine Effektivität und Verallgemeinerbarkeit bestätigt.