Untersuchung des Potenzials von Kanalinteraktionen für die Bildrestaurierung

Die Bildrestaurierung zielt darauf ab, ein klares Bild aus einer verschlechterten Beobachtung wiederherzustellen. Faltungsneuronale Netze haben auf dieser Aufgabe vielversprechende Ergebnisse erzielt. In jüngster Zeit haben Transformer aufgrund ihrer Fähigkeit, langreichweitige Abhängigkeiten zu modellieren, erhebliche Fortschritte bei der Erreichung von State-of-the-Art-Leistungen ermöglicht. Allerdings konzentrieren sich diese tiefen Architekturen hauptsächlich auf die Verbesserung der Repräsentationslernung im räumlichen Dimension, wobei die Bedeutung von Kanalwechselwirkungen vernachlässigt wird. In diesem Paper untersuchen wir das Potenzial von Kanalwechselwirkungen zur Bildrestaurierung durch die Einführung eines dualen Domänen-Kanal-Attention-Mechanismus. Genauer gesagt ermöglicht die Kanal-Attention in der räumlichen Domäne, dass jeder Kanal unter der Anleitung gelernter dynamischer Gewichte wertvolle Signale aus benachbarten Kanälen sammelt. Um die signifikanten Unterschiede im Frequenzverhalten zwischen verschlechterten und sauberen Bildpaaren effektiv auszunutzen, entwickeln wir eine implizite Frequenzdomänen-Kanal-Attention, um die Integration von Informationen aus verschiedenen Frequenzen zu fördern. Umfangreiche Experimente zeigen, dass das vorgeschlagene Netzwerk, ChaIR genannt, auf 13 Benchmark-Datensätzen für fünf verschiedene Aufgaben der Bildrestaurierung – einschließlich Bildentnebelung, Bildbewegungs-/Unschärfenunschärfung, Bildentflockung und Bildentregen – state-of-the-art-Leistungen erzielt.