Degradationsbewusstes Unfolding Half-Shuffle Transformer für spektrale kompressive Bildgebung

In codierten Apertur-Snapshot-Spektrometrie-Systemen (CASSI) werden Hyperspektralbild-Rekonstruktionsmethoden eingesetzt, um aus einer komprimierten Messung das räumlich-spektrale Signal zurückzugewinnen. Unter diesen Algorithmen zeigen tiefes Entfalten (deep unfolding) Verfahren vielversprechende Leistung, leiden jedoch unter zwei Problemen. Erstens schätzen sie die Degradationsmuster und das Ausmaß der schlecht gestellten (ill-posed) Natur aus dem stark korrelierten CASSI-System nicht aus, um den iterativen Lernprozess zu leiten. Zweitens basieren sie hauptsächlich auf Convolutional Neural Networks (CNN), was ihre Fähigkeit einschränkt, langreichweitige Abhängigkeiten zu erfassen. In diesem Artikel stellen wir einen prinzipientreuen Degradationsbewussten Entfaltungsrahmen (Degradation-Aware Unfolding Framework, DAUF) vor, der Parameter aus dem komprimierten Bild und der physikalischen Maske schätzt und diese Parameter dann zur Steuerung jeder Iteration nutzt. Darüber hinaus entwickeln wir einen neuartigen Half-Shuffle Transformer (HST), der sowohl lokale Inhalte als auch nicht-lokale Abhängigkeiten gleichzeitig erfassen kann. Durch die Integration des HST in DAUF etablieren wir erstmals eine auf Transformers basierende tiefe Entfaltungs-Methode, namens Degradation-Aware Unfolding Half-Shuffle Transformer (DAUHST), für die Rekonstruktion von Hyperspektralbildern. Experimente zeigen, dass DAUHST die derzeit besten Methoden erheblich übertrifft, während gleichzeitig geringere Rechen- und Speicherkosten entstehen. Der Quellcode und die Modelle werden unter https://github.com/caiyuanhao1998/MST veröffentlicht.