Estimation améliorée du mouvement bidirectionnel pour l'interpolation de trames vidéo

Nous présentons un nouvel algorithme simple mais efficace pour l’interpolation de trames vidéo basée sur le mouvement. Les méthodes existantes d’interpolation basées sur le mouvement reposent généralement sur un modèle pré-entraîné de flux optique ou sur un réseau en pyramide à base de U-Net pour l’estimation du mouvement, qui souffrent soit d’une taille de modèle importante, soit d’une capacité limitée à traiter des mouvements complexes ou de grande ampleur. Dans ce travail, en intégrant soigneusement la warpage orientée vers l’avant, un encodeur de caractéristiques léger et un volume de corrélation dans un cadre récurrent en pyramide, nous proposons un modèle compact capable d’estimer simultanément le mouvement bidirectionnel entre les trames d’entrée. Ce modèle est 15 fois plus petit que PWC-Net, tout en offrant une gestion plus fiable et plus flexible des cas de mouvement complexes. À partir des mouvements bidirectionnels estimés, nous effectuons une warpage vers l’avant des trames d’entrée ainsi que de leurs caractéristiques contextuelles vers la trame intermédiaire, puis utilisons un réseau de synthèse pour estimer la trame intermédiaire à partir des représentations warppées. Notre méthode obtient des performances excellentes sur une large gamme de benchmarks d’interpolation de trames vidéo. Le code source et les modèles entraînés sont disponibles à l’adresse \url{https://github.com/srcn-ivl/EBME}.