End-to-End kostengünstige komprimierende spektrale Bildgebung mit räumlich-spektraler Selbst-Attention

Coded Aperture Snapshot Spectral Imaging (CASSI) ist ein effektives Werkzeug zur Erfassung realer 3D-Hyperspektralbilder. Während bereits zahlreiche Arbeiten zur Hardware- und Algorithmenentwicklung durchgeführt wurden, gehen wir einen Schritt hin zu einer kostengünstigen Lösung, die eine Video-Rate mit hochwertiger Rekonstruktion ermöglicht. Um solide Fortschritte bei dieser anspruchsvollen, jedoch bisher wenig untersuchten Aufgabe zu erzielen, reprozieren wir ein stabiles Einzel-Dispersions-System (Single Disperser, SD) für CASSI, um großskalige, realweltbezogene CASSI-Daten zu sammeln, und schlagen ein neuartiges tiefes konvolutionales Netzwerk vor, das die Echtzeit-Rekonstruktion mittels Selbst-Attention durchführt. Um die Selbst-Attention über verschiedene Dimensionen in Hyperspektralbildern (d. h. kanalweise spektrale Korrelation und nicht-lokale räumliche Regionen) gemeinsam zu erfassen, führen wir die räumlich-spektrale Selbst-Attention (Spatial-Spectral Self-Attention, TSA) ein, die jede Dimension sequenziell, jedoch in einer reihenfolgeunabhängigen Weise verarbeitet. Wir integrieren TSA in ein Encoder-Decoder-Netzwerk, das als TSA-Net bezeichnet wird, um die gewünschte 3D-Volumenrekonstruktion durchzuführen. Darüber hinaus untersuchen wir, wie Rauschen die Rekonstruktionsqualität beeinflusst, und schlagen vor, während des Modelltrainings Shot-Rauschen zu berücksichtigen, was die Ergebnisse auf realen Daten signifikant verbessert. Wir hoffen, dass unsere großskaligen CASSI-Daten zukünftig als Benchmark für Forschungsarbeiten dienen und unser TSA-Modell als Baseline für tiefenlernbasierte Rekonstruktionsalgorithmen dienen wird.