HyperAIHyperAI

Command Palette

Search for a command to run...

Degradationsbewusstes Unfolding Half-Shuffle Transformer für spektrale kompressive Bildgebung

Yuanhao Cai Jing Lin Haoqian Wang Xin Yuan Henghui Ding Yulun Zhang Radu Timofte Luc Van Gool

Zusammenfassung

In codierten Apertur-Snapshot-Spektrometrie-Systemen (CASSI) werden Hyperspektralbild-Rekonstruktionsmethoden eingesetzt, um aus einer komprimierten Messung das räumlich-spektrale Signal zurückzugewinnen. Unter diesen Algorithmen zeigen tiefes Entfalten (deep unfolding) Verfahren vielversprechende Leistung, leiden jedoch unter zwei Problemen. Erstens schätzen sie die Degradationsmuster und das Ausmaß der schlecht gestellten (ill-posed) Natur aus dem stark korrelierten CASSI-System nicht aus, um den iterativen Lernprozess zu leiten. Zweitens basieren sie hauptsächlich auf Convolutional Neural Networks (CNN), was ihre Fähigkeit einschränkt, langreichweitige Abhängigkeiten zu erfassen. In diesem Artikel stellen wir einen prinzipientreuen Degradationsbewussten Entfaltungsrahmen (Degradation-Aware Unfolding Framework, DAUF) vor, der Parameter aus dem komprimierten Bild und der physikalischen Maske schätzt und diese Parameter dann zur Steuerung jeder Iteration nutzt. Darüber hinaus entwickeln wir einen neuartigen Half-Shuffle Transformer (HST), der sowohl lokale Inhalte als auch nicht-lokale Abhängigkeiten gleichzeitig erfassen kann. Durch die Integration des HST in DAUF etablieren wir erstmals eine auf Transformers basierende tiefe Entfaltungs-Methode, namens Degradation-Aware Unfolding Half-Shuffle Transformer (DAUHST), für die Rekonstruktion von Hyperspektralbildern. Experimente zeigen, dass DAUHST die derzeit besten Methoden erheblich übertrifft, während gleichzeitig geringere Rechen- und Speicherkosten entstehen. Der Quellcode und die Modelle werden unter https://github.com/caiyuanhao1998/MST veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp