BSRT : Amélioration de la super-résolution en rafale avec le Swin Transformer et l'alignement déformable guidé par le flux

Ce travail aborde la tâche de Burst Super-Resolution (BurstSR) en utilisant une nouvelle architecture, qui nécessite la restauration d'une image de haute qualité à partir d'une séquence d'images bruitées, mal alignées et de faible résolution au format RAW. Pour surmonter les défis liés à la BurstSR, nous proposons un Burst Super-Resolution Transformer (BSRT), capable d'améliorer considérablement la capacité d'extraction des informations inter-images et de reconstruction. Pour atteindre cet objectif, nous introduisons un réseau de convolution déformable guidé par une pyramide de flux (Pyramid FG-DCN) et intégrons des blocs et groupes de Swin Transformer comme base principale de notre architecture. Plus précisément, nous combinons les flux optiques et les convolutions déformables, ce qui permet à notre BSRT de gérer efficacement le mauvais alignement et d'agréger l'information texturale potentielle dans plusieurs images. De plus, notre structure basée sur le Transformer peut capturer des dépendances à longue portée pour améliorer encore davantage les performances. Les évaluations réalisées sur des pistes synthétiques et réelles montrent que notre approche atteint un nouveau niveau d'état de l'art dans la tâche de BurstSR. En outre, notre BSRT a remporté le championnat du Défi NTIRE2022 en Burst Super-Resolution.