Mask-gesteuerter spektral-weise Transformer für eine effiziente Hyperspektralbild-Rekonstruktion

Die Rekonstruktion hyperspektraler Bilder (HSI) zielt darauf ab, das 3D-Signal aus Raum und Spektrum aus einer 2D-Messung im Rahmen des coded aperture snapshot spectral imaging (CASSI)-Systems wiederherzustellen. Die HSI-Darstellungen sind entlang der spektralen Dimension stark ähnlich und korreliert. Die Modellierung der Wechselwirkungen zwischen Spektralkanälen ist förderlich für die HSI-Rekonstruktion. Allerdings zeigen bestehende auf CNN basierende Methoden Einschränkungen hinsichtlich der Erfassung spektraler Ähnlichkeiten und langreichweitiger Abhängigkeiten. Zudem wird die HSI-Information im CASSI-System durch eine codierte Apertur (physikalisches Maskenmuster) moduliert. Dennoch haben aktuelle Algorithmen das Leitungs- bzw. Anleitungspotenzial dieser Maske für die HSI-Restaurierung bisher nicht ausreichend ausgeschöpft. In diesem Artikel stellen wir einen neuen Ansatz, den Mask-guided Spectral-wise Transformer (MST), für die HSI-Rekonstruktion vor. Konkret führen wir eine spektral-orientierte Multi-Head Self-Attention-Unit (S-MSA) ein, die jedes spektrale Merkmal als Token behandelt und die Self-Attention entlang der spektralen Dimension berechnet. Darüber hinaus entwickeln wir eine maßgeschneiderte Masken-gesteuerte Mechanik (MM), die die S-MSA dazu anleitet, auf räumliche Regionen mit hochwertigen spektralen Repräsentationen zu fokussieren. Umfangreiche Experimente zeigen, dass unser MST state-of-the-art (SOTA)-Methoden sowohl auf simulierten als auch auf realen HSI-Datensätzen erheblich übertrifft, während gleichzeitig die benötigten Rechen- und Speicherressourcen deutlich geringer sind. Der Quellcode und vortrainierte Modelle sind unter https://github.com/caiyuanhao1998/MST/ verfügbar.