Dépliement à prioris doubles pour l'imagerie compressive en temps réel

Récemment, les méthodes d’« unfolding profond » ont connu un succès remarquable dans le domaine de la reconstruction en imagerie compressive instantanée (Snapshot Compressive Imaging, SCI). Toutefois, les méthodes existantes s’appuient toutes sur un cadre itératif fondé sur un seul prior d’image, ce qui limite l’efficacité des approches d’« unfolding » et rend difficile l’intégration simple et efficace d’autres priors. Pour sortir de ce cadre traditionnel, nous proposons une méthode innovante, le Dual Prior Unfolding (DPU), qui permet une utilisation conjointe de plusieurs priors profonds et améliore considérablement l’efficacité itérative. Notre méthode d’« unfolding » repose sur deux composantes principales : le cadre à double prior (Dual Prior Framework, DPF) et l’attention ciblée (Focused Attention, FA). En résumé, en plus du prior d’image classique, le DPF introduit un résidu dans la formule itérative et construit un prior dégradé pour ce résidu en tenant compte de diverses dégradations, permettant ainsi de définir un cadre d’« unfolding » plus riche. Pour renforcer l’efficacité du prior basé sur l’attention auto-associative, la méthode FA adopte un mécanisme original inspiré du débruitage par analyse en composantes principales (PCA), qui permet de mettre à l’échelle et de filtrer l’attention tout en préservant un coût computationnel faible, en orientant ainsi l’attention vers les caractéristiques les plus pertinentes. Par ailleurs, un architecture asymétrique est proposée afin d’améliorer davantage l’efficacité de l’attention hiérarchique auto-associative. Notamment, notre DPU à 5 étapes atteint des performances de pointe (SOTA) avec le nombre minimal de FLOPs et de paramètres par rapport aux méthodes précédentes, tandis que notre DPU à 9 étapes surpasse significativement les autres méthodes d’« unfolding » tout en nécessitant une charge computationnelle moindre.