HyperAIHyperAI

Command Palette

Search for a command to run...

End-to-End kostengünstige komprimierende spektrale Bildgebung mit räumlich-spektraler Selbst-Attention

Ziyi Meng Xin Yuan Jiawei Ma

Zusammenfassung

Coded Aperture Snapshot Spectral Imaging (CASSI) ist ein effektives Werkzeug zur Erfassung realer 3D-Hyperspektralbilder. Während bereits zahlreiche Arbeiten zur Hardware- und Algorithmenentwicklung durchgeführt wurden, gehen wir einen Schritt hin zu einer kostengünstigen Lösung, die eine Video-Rate mit hochwertiger Rekonstruktion ermöglicht. Um solide Fortschritte bei dieser anspruchsvollen, jedoch bisher wenig untersuchten Aufgabe zu erzielen, reprozieren wir ein stabiles Einzel-Dispersions-System (Single Disperser, SD) für CASSI, um großskalige, realweltbezogene CASSI-Daten zu sammeln, und schlagen ein neuartiges tiefes konvolutionales Netzwerk vor, das die Echtzeit-Rekonstruktion mittels Selbst-Attention durchführt. Um die Selbst-Attention über verschiedene Dimensionen in Hyperspektralbildern (d. h. kanalweise spektrale Korrelation und nicht-lokale räumliche Regionen) gemeinsam zu erfassen, führen wir die räumlich-spektrale Selbst-Attention (Spatial-Spectral Self-Attention, TSA) ein, die jede Dimension sequenziell, jedoch in einer reihenfolgeunabhängigen Weise verarbeitet. Wir integrieren TSA in ein Encoder-Decoder-Netzwerk, das als TSA-Net bezeichnet wird, um die gewünschte 3D-Volumenrekonstruktion durchzuführen. Darüber hinaus untersuchen wir, wie Rauschen die Rekonstruktionsqualität beeinflusst, und schlagen vor, während des Modelltrainings Shot-Rauschen zu berücksichtigen, was die Ergebnisse auf realen Daten signifikant verbessert. Wir hoffen, dass unsere großskaligen CASSI-Daten zukünftig als Benchmark für Forschungsarbeiten dienen und unser TSA-Modell als Baseline für tiefenlernbasierte Rekonstruktionsalgorithmen dienen wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp