BurstM : Super-résolution multi-échelle profonde utilisant l'espace de Fourier avec le flux optique

La super-résolution multi-image (MFSR) atteint des performances supérieures à la super-résolution mono-image (SISR), car elle exploite une abondance d'informations provenant de plusieurs images. Les approches récentes en MFSR adaptent les réseaux de convolution déformables (DCN) pour aligner les images. Cependant, les méthodes MFSR existantes souffrent de mauvais alignements entre l'image de référence et les images sources en raison des limitations du DCN, telles que des champs récepteurs petits et un nombre prédéfini de noyaux. En conséquence, ces approches peinent à représenter les informations à haute fréquence. Pour remédier à ces problèmes, nous proposons une méthode de super-résolution multi-échelle profonde utilisant l'espace de Fourier avec le flux optique (BurstM). La méthode proposée estime le décalage du flux optique pour un alignement précis et prédit le coefficient de Fourier continu de chaque image afin de représenter les textures à haute fréquence. De plus, nous avons amélioré la flexibilité du réseau en supportant divers facteurs d'échelle pour la super-résolution (SR) avec un seul modèle. Nous montrons que notre méthode offre des performances et une flexibilité supérieures aux méthodes MFSR existantes. Notre code source est disponible sur https://github.com/Egkang-Luis/burstm.