FeatureFlow : Interpolation vidéo robuste par génération de structure vers texture

L'interpolation vidéo vise à synthétiser des images intermédiaires absentes entre deux cadres consécutifs. Bien que les méthodes basées sur le flux optique existantes aient obtenu des résultats prometteurs, elles rencontrent encore de grandes difficultés lors de l'interpolation dans des scènes dynamiques complexes, caractérisées par des occlusions, du flou ou des changements brusques d'intensité lumineuse. Cela s'explique principalement par le fait que ces situations peuvent violer les hypothèses fondamentales de l'estimation du flux optique (notamment la régularité et la cohérence). Dans ce travail, nous proposons un nouveau cadre de génération structurée-texture, qui décompose la tâche d'interpolation vidéo en deux étapes : une interpolation guidée par la structure, suivie d'une révision des textures. Dans la première étape, des caractéristiques profondes sensibles à la structure sont utilisées pour prédire les flux de caractéristiques entre deux cadres consécutifs et leur résultat intermédiaire, puis pour générer l'image structurelle du cadre intermédiaire. Dans la deuxième étape, à partir du résultat grossier ainsi obtenu, un Compensateur de Texture de Cadre est entraîné afin de restaurer les détails texturels. À notre connaissance, il s'agit du premier travail qui tente de générer directement le cadre intermédiaire par combinaison de caractéristiques profondes. Des expériences menées sur des jeux de données standard ainsi que sur des cas difficiles d'occlusion démontrent l'efficacité supérieure du cadre proposé par rapport aux méthodes de pointe. Le code source est disponible à l'adresse suivante : https://github.com/CM-BF/FeatureFlow.