WaveMixSR: Ein ressourcensparender neuronaler Netzwerkansatz für die Bild-Super-Resolution

Die Forschung im Bereich der Bild-Super-Resolution wird derzeit maßgeblich von Transformer-Modellen dominiert, die aufgrund der quadratischen Komplexität des Self-Attention-Mechanismus höhere Rechenressourcen erfordern als CNNs. Wir stellen ein neues neuronales Netzwerk – WaveMixSR – für die Bild-Super-Resolution basierend auf der WaveMix-Architektur vor, das eine zweidimensionale diskrete Wavelet-Transformation zur räumlichen Token-Mixing nutzt. Im Gegensatz zu transformerbasierten Modellen wird das Bild bei WaveMixSR nicht als Sequenz von Pixeln oder Patchs entfaltet. Stattdessen nutzt es die induktiven Vorurteile von Faltungen sowie die verlustfreie Token-Mixing-Eigenschaft der Wavelet-Transformation, um eine höhere Leistung bei geringerem Ressourcenbedarf und weniger Trainingsdaten zu erreichen. Wir vergleichen die Leistung unseres Netzwerks mit anderen state-of-the-art-Methoden für die Bild-Super-Resolution. Unsere Experimente zeigen, dass WaveMixSR in allen untersuchten Datensätzen wettbewerbsfähige Ergebnisse erzielt und auf dem BSD100-Datensatz mehrere Super-Resolution-Aufgaben auf state-of-the-art-Niveau erreicht. Unser Modell erreicht diese Leistung mit weniger Trainingsdaten und geringerem Rechenaufwand, während es gegenüber aktuellen state-of-the-art-Modellen eine hohe Parameter-Effizienz aufweist.