Bildverarbeitungsgestützter GNN: Überwindung der Starrheit in der Super-Resolution

Super-Resolution (SR) rekonstruiert hochauflösende Bilder aus niedrigauflösenden. Convolutional Neural Networks (CNNs) und Fenster-Attention-Methoden stellen zwei zentrale Kategorien klassischer SR-Modelle dar. Allerdings sind diese Ansätze rigide: Bei beiden Verfahren sammelt jeder Pixel die gleiche Anzahl benachbarter Pixel, was ihre Wirksamkeit bei SR-Aufgaben einschränkt. Alternativ nutzen wir die Flexibilität von Graphen und stellen das Image Processing GNN (IPG)-Modell vor, um die Dominanz der Starrheit in früheren SR-Methoden zu überwinden. Zunächst ist SR unbalanciert, da sich die meisten Rekonstruktionsbemühungen auf einen kleinen Anteil detailreicher Bildbereiche konzentrieren. Daher nutzen wir die Flexibilität der Knotengrade, indem wir detailreichen Bildknoten höhere Knotengrade zuweisen. Anschließend konstruieren wir Graphen für eine effektive Aggregation, indem wir Bilder nicht als Patch-Knoten, sondern als Mengen von Pixelknoten betrachten. Schließlich halten wir sowohl lokale als auch globale Informationen für entscheidend für die SR-Leistung. Um Informationen von Pixeln auf lokaler und globaler Skala effizient über flexible Graphen zu sammeln, suchen wir Knotenverbindungen innerhalb benachbarter Regionen, um lokale Graphen zu erstellen, und identifizieren Verbindungen innerhalb eines abgestuften Abtastraums des gesamten Bildes, um globale Graphen zu konstruieren. Die Flexibilität der Graphen verbessert die SR-Leistung des IPG-Modells signifikant. Experimentelle Ergebnisse auf verschiedenen Datensätzen zeigen, dass das vorgeschlagene IPG-Modell die derzeitigen State-of-the-Art-Baselines übertrifft. Der Quellcode ist unter https://github.com/huawei-noah/Efficient-Computing/tree/master/LowLevel/IPG verfügbar.