Réseau récurrent pyramidal unifié pour l'interpolation de trames vidéo

La synthèse guidée par le flux offre un cadre commun pour l’interpolation de trames, où le flux optique est estimé afin de guider la génération des trames intermédiaires entre deux trames successives. Dans cet article, nous présentons UPR-Net, un nouveau réseau récurrent pyramidal unifié pour l’interpolation de trames. Conçu dans un cadre pyramidal flexible, UPR-Net exploite des modules récurrents légers à la fois pour l’estimation du flux bidirectionnel et pour la synthèse des trames intermédiaires. À chaque niveau pyramidal, il utilise le flux bidirectionnel estimé pour générer des représentations transformées vers l’avant, nécessaires à la synthèse des trames ; à travers les différents niveaux pyramidaux, il permet une amélioration itérative à la fois du flux optique et des trames intermédiaires. En particulier, nous démontrons que notre stratégie itérative de synthèse améliore significativement la robustesse de l’interpolation de trames dans les cas de grands mouvements. Malgré sa légèreté extrême (1,7 million de paramètres), la version de base d’UPR-Net atteint des performances excellentes sur une large gamme de benchmarks. Le code et les modèles entraînés de la série UPR-Net sont disponibles à l’adresse suivante : https://github.com/srcn-ivl/UPR-Net.