Verbesserung der spektralen Snapshot-Rekonstruktion durch spektral-raumliche Korrektur

Die effektive Nutzung der spektralen und räumlichen Eigenschaften hyperspektraler Bilder (HSI) stellt stets eine zentrale Herausforderung bei der rekonstruktiven Abbildung von Spektral-Snapshot-Bildern dar. In jüngster Zeit hat der spektral-weise Transformer großes Potenzial bei der Erfassung von Ähnlichkeiten zwischen Spektralkanälen von HSI gezeigt. Allerdings behindert das klassische Design des Transformers – insbesondere die Multi-Head-Unterteilung entlang der spektralen (Kanal-) Dimension – die Modellierung globaler spektraler Informationen und führt zu einem Mittelwert-Effekt. Zudem berücksichtigen bisherige Ansätze nur herkömmliche räumliche Vorwissen, ohne die spezifischen Abbildungsprozesse zu berücksichtigen, wodurch die charakteristischen räumlichen Degradierungen bei der Snapshot-Spektralrekonstruktion nicht angemessen adressiert werden können. In diesem Artikel analysieren wir den Einfluss der Multi-Head-Unterteilung und stellen einen neuartigen Ansatz namens Spectral-Spatial Rectification (SSR) vor, um die Ausnutzung spektraler Informationen zu verbessern und räumliche Degradierungen zu verringern. Konkret besteht SSR aus zwei zentralen Komponenten: dem Window-basierten spektral-weise Self-Attention (WSSA) und dem spAtial Rectification Block (ARB). Der WSSA ermöglicht die Erfassung globaler spektraler Informationen unter Berücksichtigung lokaler Unterschiede, während der ARB mittels einer räumlichen Ausrichtungsstrategie die räumliche Degradierung reduzieren soll. Die experimentellen Ergebnisse sowohl auf simulierten als auch auf realen Szenen belegen die Wirksamkeit der vorgeschlagenen Module. Zudem stellen wir Modelle in mehreren Skalen bereit, um die Überlegenheit unseres Ansatzes zu unterstreichen.