HDNet : Apprentissage dual-domain à haute résolution pour l'imagerie compressée spectrale

Le développement rapide du deep learning offre une solution améliorée pour la reconstruction end-to-end des images hyperspectrales (HSI). Toutefois, les méthodes basées sur l'apprentissage existantes présentent deux défauts majeurs. Premièrement, les réseaux intégrant une attention auto-attentive sacrifient souvent la résolution interne afin d'équilibrer la performance du modèle et sa complexité, entraînant ainsi une perte de détails fins associés aux caractéristiques haute résolution (HR). Deuxièmement, même lorsque l'optimisation axée sur l'apprentissage dans les domaines spatial et spectral (SDL) converge vers une solution idéale, une différence visuelle significative subsiste entre l'HSI reconstruite et la vérité terrain. Ainsi, nous proposons un réseau d'apprentissage dual-domain à haute résolution (HDNet) pour la reconstruction d'HSI. D'une part, le module d'attention spatial-spectrale à haute résolution, associé à une fusion efficace des caractéristiques, fournit des informations pixel par pixel continues et fines. D'autre part, l'apprentissage dans le domaine fréquentiel (FDL) est introduit pour réduire l'écart entre les spectres fréquentiels des images reconstruites et celles réelles. Une supervision dynamique du FDL oblige le modèle à reconstruire des fréquences de haut détail et à compenser le lissage excessif et les distorsions causés par les pertes au niveau pixel. Les améliorations au niveau pixel et au niveau fréquence dans notre HDNet s'entraînent mutuellement pour renforcer la qualité perceptuelle de l'HSI reconstruite. Des expériences quantitatives et qualitatives étendues démontrent que notre méthode atteint un niveau d'performance SOTA sur des jeux de données simulés et réels d'HSI. Le code source et les modèles seront publiés sur https://github.com/caiyuanhao1998/MST