HyperAIHyperAI

Command Palette

Search for a command to run...

Mask-gesteuerter spektral-weise Transformer für eine effiziente Hyperspektralbild-Rekonstruktion

Yuanhao Cai Jing Lin Xiaowan Hu Haoqian Wang Xin Yuan Yulun Zhang Radu Timofte Luc Van Gool

Zusammenfassung

Die Rekonstruktion hyperspektraler Bilder (HSI) zielt darauf ab, das 3D-Signal aus Raum und Spektrum aus einer 2D-Messung im Rahmen des coded aperture snapshot spectral imaging (CASSI)-Systems wiederherzustellen. Die HSI-Darstellungen sind entlang der spektralen Dimension stark ähnlich und korreliert. Die Modellierung der Wechselwirkungen zwischen Spektralkanälen ist förderlich für die HSI-Rekonstruktion. Allerdings zeigen bestehende auf CNN basierende Methoden Einschränkungen hinsichtlich der Erfassung spektraler Ähnlichkeiten und langreichweitiger Abhängigkeiten. Zudem wird die HSI-Information im CASSI-System durch eine codierte Apertur (physikalisches Maskenmuster) moduliert. Dennoch haben aktuelle Algorithmen das Leitungs- bzw. Anleitungspotenzial dieser Maske für die HSI-Restaurierung bisher nicht ausreichend ausgeschöpft. In diesem Artikel stellen wir einen neuen Ansatz, den Mask-guided Spectral-wise Transformer (MST), für die HSI-Rekonstruktion vor. Konkret führen wir eine spektral-orientierte Multi-Head Self-Attention-Unit (S-MSA) ein, die jedes spektrale Merkmal als Token behandelt und die Self-Attention entlang der spektralen Dimension berechnet. Darüber hinaus entwickeln wir eine maßgeschneiderte Masken-gesteuerte Mechanik (MM), die die S-MSA dazu anleitet, auf räumliche Regionen mit hochwertigen spektralen Repräsentationen zu fokussieren. Umfangreiche Experimente zeigen, dass unser MST state-of-the-art (SOTA)-Methoden sowohl auf simulierten als auch auf realen HSI-Datensätzen erheblich übertrifft, während gleichzeitig die benötigten Rechen- und Speicherressourcen deutlich geringer sind. Der Quellcode und vortrainierte Modelle sind unter https://github.com/caiyuanhao1998/MST/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp