Référence pour la sur-résolution vidéo utilisant des triplets vidéo multi-caméras

Nous proposons la première approche de super-résolution vidéo basée sur des références (RefVSR) qui utilise des vidéos de référence pour obtenir des résultats de haute fidélité. Nous nous concentrons sur le RefVSR dans un contexte à trois caméras, où notre objectif est de super-résoudre une vidéo ultra-large en résolution faible en utilisant des vidéos grand angle et téléphoto. Nous introduisons le premier réseau RefVSR qui aligne et propage récurrentement les caractéristiques temporelles de référence fusionnées avec les caractéristiques extraites des images en résolution faible. Pour faciliter la fusion et la propagation des caractéristiques temporelles de référence, nous proposons un module de fusion temporelle propagatif. Pour l'apprentissage et l'évaluation de notre réseau, nous présentons le premier ensemble de données RefVSR composé de triplets de vidéos ultra-large, grand angle et téléphoto prises simultanément par les trois caméras d'un smartphone. Nous proposons également une stratégie d'entraînement en deux étapes qui utilise pleinement les triplets vidéo du jeu de données proposé pour la super-résolution vidéo 4x dans des conditions réelles. Nous évaluons notre méthode de manière exhaustive, et les résultats montrent une performance d'avant-garde en super-résolution 4x.