HyperAIHyperAI

Command Palette

Search for a command to run...

Imagerie spectrale compressive à faible coût en bout-à-bout avec une attention spatiale-spectrale auto-apprenante

Ziyi Meng Xin Yuan Jiawei Ma

Résumé

L'imagerie spectrale instantanée à ouverture codée (CASSI, Coded Aperture Snapshot Spectral Imaging) est un outil efficace pour capturer des images hyperspectrales 3D du monde réel. Bien qu’un grand nombre d’études aient été menées sur la conception matérielle et les algorithmes associés, nous nous engageons dans une démarche visant à proposer une solution à faible coût permettant une reconstruction de haute qualité en temps réel, à débit vidéo. Pour progresser de manière solide sur cette tâche exigeante mais peu explorée, nous avons reconstruit un système CASSI à disperser unique (SD, Single Disperser) stable afin de collecter de vastes ensembles de données réelles CASSI, et nous proposons un nouveau réseau convolutionnel profond exploitant l’attention autonome pour réaliser une reconstruction en temps réel. Afin de capturer conjointement l’attention autonome à travers différentes dimensions des images hyperspectrales (à savoir les corrélations spectrales entre canaux et les régions spatiales non locales), nous introduisons une nouvelle architecture appelée Attention autonome spatiale-spectrale (TSA, Spatial-Spectral Self-Attention), qui traite chaque dimension séquentiellement, mais de manière indépendante de l’ordre. Nous intégrons cette TSA dans un réseau encodeur-décodeur, nommé TSA-Net, pour reconstruire le cube 3D souhaité. Par ailleurs, nous étudions l’impact du bruit sur les performances et proposons d’ajouter du bruit de tirage (shot noise) lors de l’entraînement du modèle, ce qui améliore significativement les résultats sur des données réelles. Nous espérons que nos données CASSI à grande échelle serviront de référence dans les recherches futures, et que notre modèle TSA constituera une base de comparaison (baseline) pour les algorithmes de reconstruction fondés sur l’apprentissage profond.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp