HyperAIHyperAI

Command Palette

Search for a command to run...

MST++: Mehrstufiger spektral-basierter Transformer für effiziente Spektralrekonstruktion

Yuanhao Cai Jing Lin Zudi Lin Haoqian Wang Yulun Zhang Hanspeter Pfister Radu Timofte Luc Van Gool

Zusammenfassung

Bestehende führende Methoden für die spektrale Rekonstruktion (SR) konzentrieren sich auf das Design tieferer oder breiterer Faltungsneuronaler Netze (CNNs), um die end-to-end Abbildung von RGB-Bildern zu ihren Hyperspektralbildern (HSI) zu erlernen. Diese CNN-basierten Methoden erzielen beeindruckende Restaurationsleistungen, zeigen aber Einschränkungen bei der Erfassung von langreichweitigen Abhängigkeiten und dem Selbstähnlichkeitsprior. Um dieses Problem anzugehen, schlagen wir eine neuartige Transformer-basierte Methode vor: den Multi-stufigen spektralen Transformer (MST++), zur effizienten spektralen Rekonstruktion. Insbesondere verwenden wir ein spektrales Multi-Head-Self-Attention (S-MSA), das auf der räumlich dünn besetzten, aber spektral selbstähnlichen Natur von HSIs basiert, um die grundlegende Einheit, den spektralen Aufmerksamkeitsblock (SAB), zu bilden. Anschließend bilden die SABs einen einstufigen spektralen Transformer (SST), der eine U-förmige Struktur nutzt, um mehrskaliges kontextuelles Wissen zu extrahieren. Schließlich verbessert unser MST++, der durch mehrere SSTs verkettet ist, die Rekonstruktionsqualität schrittweise von grob zu fein. Ausführliche Experimente zeigen, dass unser MST++ andere Standesder-Technik-Methoden deutlich übertrifft. Bei der NTIRE 2022 Spektralrekonstruktionsausforderung belegte unser Ansatz den ersten Platz. Der Quellcode und die vortrainierten Modelle sind öffentlich verfügbar unter https://github.com/caiyuanhao1998/MST-plus-plus.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MST++: Mehrstufiger spektral-basierter Transformer für effiziente Spektralrekonstruktion | Paper | HyperAI