MST++: Mehrstufiger spektral-basierter Transformer für effiziente Spektralrekonstruktion

Bestehende führende Methoden für die spektrale Rekonstruktion (SR) konzentrieren sich auf das Design tieferer oder breiterer Faltungsneuronaler Netze (CNNs), um die end-to-end Abbildung von RGB-Bildern zu ihren Hyperspektralbildern (HSI) zu erlernen. Diese CNN-basierten Methoden erzielen beeindruckende Restaurationsleistungen, zeigen aber Einschränkungen bei der Erfassung von langreichweitigen Abhängigkeiten und dem Selbstähnlichkeitsprior. Um dieses Problem anzugehen, schlagen wir eine neuartige Transformer-basierte Methode vor: den Multi-stufigen spektralen Transformer (MST++), zur effizienten spektralen Rekonstruktion. Insbesondere verwenden wir ein spektrales Multi-Head-Self-Attention (S-MSA), das auf der räumlich dünn besetzten, aber spektral selbstähnlichen Natur von HSIs basiert, um die grundlegende Einheit, den spektralen Aufmerksamkeitsblock (SAB), zu bilden. Anschließend bilden die SABs einen einstufigen spektralen Transformer (SST), der eine U-förmige Struktur nutzt, um mehrskaliges kontextuelles Wissen zu extrahieren. Schließlich verbessert unser MST++, der durch mehrere SSTs verkettet ist, die Rekonstruktionsqualität schrittweise von grob zu fein. Ausführliche Experimente zeigen, dass unser MST++ andere Standesder-Technik-Methoden deutlich übertrifft. Bei der NTIRE 2022 Spektralrekonstruktionsausforderung belegte unser Ansatz den ersten Platz. Der Quellcode und die vortrainierten Modelle sind öffentlich verfügbar unter https://github.com/caiyuanhao1998/MST-plus-plus.