Cadre d'apprentissage de la dégradation résiduelle déroulé avec des priori mixtes dans les domaines spectral et spatial pour l'imagerie spectrale compressée

Pour acquérir une image spectrale en snapshot, une méthode nommée imagerie spectrale en snapshot à ouverture codée (CASSI) a été proposée. Un problème central du système CASSI consiste à reconstruire de manière fiable et précise le cube spectral 3D sous-jacent à partir de la mesure 2D obtenue. Les méthodes d’approfondissement profond (deep unfolding) parviennent à de bons résultats en résolvant de manière alternée un sous-problème de données et un sous-problème de priori. Toutefois, dans le sous-problème de données, la matrice d’acquisition utilisée n’est pas adaptée au processus réel de dégradation, en raison d’erreurs d’appareil provoquées par des aberrations de phase, des distorsions ; quant au sous-problème de priori, il est essentiel de concevoir un modèle approprié permettant d’exploiter conjointement les priori spatiaux et spectraux. Dans cet article, nous proposons un cadre d’approfondissement apprenant les dégradations résiduelles (RDLUF), qui comble l’écart entre la matrice d’acquisition et le processus de dégradation réel. En outre, nous avons conçu un Transformer Mix$S^2$, en combinant les priori entre les dimensions spectrale et spatiale, afin de renforcer la capacité de représentation spectrale-spatiale. Enfin, en intégrant le Transformer Mix$S^2$ dans le cadre RDLUF, nous obtenons un réseau neuronal entièrement entraînable en bout-à-bout, nommé RDLUF-Mix$S^2$. Les résultats expérimentaux démontrent l’efficacité supérieure de la méthode proposée par rapport aux approches existantes.