EBSR : Résolution de super-résolution par paquets améliorée par les caractéristiques avec alignement déformable

Nous proposons une nouvelle architecture pour résoudre le problème de la super-résolution multi-images (MFSR). Le cadre proposé, appelé Enhanced Burst Super-Resolution (EBSR), décompose le problème de la MFSR en trois étapes : l’alignement, la fusion et la reconstruction. Nous introduisons un module appelé Feature Enhanced Pyramid Cascading and Deformable convolution (FEPCD), conçu pour aligner les images à faible résolution d’un ensemble (burst) au niveau des caractéristiques. Les caractéristiques ainsi alignées sont ensuite fusionnées par un module de fusion non locale croisée (Cross Non-Local Fusion, CNLF). Enfin, l’image haute résolution est reconstruite à l’aide d’un réseau de concaténation à longue portée (Long Range Concatenation Network, LRCN). Par ailleurs, nous avons conçu une structure de chemin résiduel en cascade (CR) afin d’améliorer les performances du modèle. Nous avons mené plusieurs expériences pour analyser et démontrer l’efficacité de ces modules. Notre modèle EBSR a remporté la première place sur la piste réelle et la deuxième place sur la piste synthétique lors du défi NTIRE21 sur la super-résolution de burst.