Estimation en temps réel du flux intermédiaire pour l'interpolation de trames vidéo

L’interpolation de trames vidéo en temps réel (VFI) est très utile dans le traitement vidéo, les lecteurs multimédias et les dispositifs d’affichage. Nous proposons RIFE, un algorithme d’estimation de flux intermédiaire en temps réel pour la VFI. Pour réaliser une méthode de VFI de haute qualité basée sur le flux optique, RIFE utilise un réseau de neurones appelé IFNet, capable d’estimer les flux intermédiaires de manière end-to-end avec une vitesse beaucoup plus élevée. Un schéma de distillation privilégié est conçu pour assurer une formation stable d’IFNet et améliorer les performances globales. RIFE ne dépend pas de modèles pré-entraînés de flux optique et peut supporter l’interpolation de trames à intervalles arbitraires grâce à une entrée codée temporellement. Les expériences montrent que RIFE atteint des performances de pointe sur plusieurs benchmarks publics. En comparaison avec les méthodes populaires SuperSlomo et DAIN, RIFE est 4 à 27 fois plus rapide tout en produisant des résultats supérieurs. En outre, grâce au codage temporel, RIFE peut être étendu à des applications plus larges. Le code est disponible à l’adresse suivante : https://github.com/megvii-research/ECCV2022-RIFE.