Réseau résiduel guidé par cadre de base simple pour la super-résolution d’images RAW en rafale

La super-résolution par rafale, ou super-résolution multi-images (MFSR, multi-frame super-resolution), a suscité un intérêt croissant ces dernières années, notamment dans le domaine de la photographie mobile. Avec l’augmentation continue de la puissance de traitement des appareils portables modernes et leur capacité à capturer plusieurs images encore plus rapidement, le développement d’algorithmes robustes de MFSR est devenu de plus en plus réalisable. En outre, contrairement à la super-résolution à image unique (SISR), largement étudiée, la super-résolution par rafale atténue la nature mal posée de la reconstruction d’images haute résolution à partir d’images basse résolution en fusionnant les informations provenant de plusieurs images décalées. Cette recherche présente une nouvelle approche efficace basée sur l’apprentissage profond, nommée SBFBurst, conçue pour résoudre ce problème difficile. Notre réseau prend comme entrée plusieurs images RAW bruitées et produit en sortie une image RGB débruitée et super-résolue. Nous démontrons qu’une amélioration significative peut être obtenue en intégrant des mécanismes guidés par une image de référence (base frame) à l’aide d’opérations telles que la concaténation des cartes de caractéristiques et les connexions d’évitement (skip connections). Par ailleurs, nous mettons en évidence l’importance de l’utilisation de la convolution en mosaïque pour améliorer l’alignement, ce qui renforce globalement les performances du réseau dans les tâches de super-résolution. Ces améliorations relativement simples soulignent la compétitivité de notre méthode proposée par rapport aux approches de pointe existantes.