XVFI : Interpolation Extrême de Cadres Vidéo

Dans cet article, nous présentons d'abord un ensemble de données (X4K1000FPS) composé de vidéos 4K à 1000 images par seconde (fps) avec des mouvements extrêmes à la communauté scientifique pour l'interpolation de cadres vidéo (VFI), et nous proposons un réseau VFI extrême, appelé XVFI-Net, qui gère en premier lieu l'interpolation de cadres vidéo pour les vidéos 4K avec des mouvements importants. Le XVFI-Net repose sur une structure récursive multi-échelle composée de deux modules en cascade : l'un pour l'apprentissage du flot optique bidirectionnel entre deux cadres d'entrée (BiOF-I) et l'autre pour l'apprentissage du flot optique bidirectionnel du cadre cible aux cadres d'entrée (BiOF-T). Les flots optiques sont approximés de manière stable par une inversion de flot complémentaire (CFR) proposée dans le module BiOF-T. Lors de l'inférence, le module BiOF-I peut démarrer à n'importe quelle échelle d'entrée tandis que le module BiOF-T ne fonctionne qu'à l'échelle d'entrée originale, ce qui permet d'accélérer l'inférence tout en maintenant une performance VFI très précise. De nombreux résultats expérimentaux montrent que notre réseau XVFI-Net peut capturer avec succès les informations essentielles des objets ayant des mouvements extrêmement importants et des textures complexes, alors que les méthodes les plus avancées actuellement montrent des performances médiocres. De plus, notre cadre XVFI-Net offre également des performances comparables sur les jeux de données précédents à résolution inférieure, ce qui démontre la robustesse de notre algorithme. Tous les codes sources, modèles pré-entraînés et ensembles de données X4K1000FPS proposés sont disponibles au public sur https://github.com/JihyongOh/XVFI.