Deep Burst Super-Resolution Traduction : Amélioration de la Résolution par Burst Profond

Bien que la super-résolution mono-image (SISR) ait suscité un intérêt considérable ces dernières années, les approches proposées sont limitées à l'apprentissage de priors d'image afin d'ajouter des détails à haute fréquence. En revanche, la super-résolution multi-image (MFSR) offre la possibilité de reconstruire des détails riches en combinant les informations du signal provenant de plusieurs images décalées. Ce point fort essentiel, associé à la popularité croissante de la photographie en rafale, a fait de la MFSR un problème important pour les applications réelles.Nous proposons une nouvelle architecture pour la tâche de super-résolution en rafale. Notre réseau prend en entrée plusieurs images RAW bruitées et génère en sortie une image RGB débruitée et surrésolue. Cela est réalisé en alignant explicitement les plongements profonds des images d'entrée à l'aide d'un flux optique pixel par pixel. Les informations de toutes les images sont ensuite fusionnées de manière adaptative à l'aide d'un module de fusion basé sur l'attention. Pour permettre l'entraînement et l'évaluation sur des données réelles, nous introduisons également le jeu de données BurstSR, composé de rafales prises avec des smartphones et de vérités terrain haute résolution issues d'appareils photo reflex numériques (DSLR). Nous effectuons une analyse expérimentale complète, démontrant l'efficacité de l'architecture proposée.