Vers un cadre de bout en bout pour l'interpolation vidéo guidée par le flux

Le flux optique, qui capture les informations de mouvement entre les images, est exploité dans les méthodes récentes d'inpainting vidéo par la propagation des pixels le long de ses trajectoires. Cependant, les processus basés sur le flux optique conçus manuellement dans ces méthodes sont appliqués séparément pour former l'ensemble du pipeline d'inpainting. Par conséquent, ces méthodes sont moins efficaces et dépendent fortement des résultats intermédiaires des étapes précédentes. Dans cet article, nous proposons un cadre End-to-End pour l'inpainting vidéo guidé par le flux (E$^2$FGVI) grâce à trois modules entraînables soigneusement conçus : le module de complétion de flux, le module de propagation de caractéristiques et le module de génération de contenu. Ces trois modules correspondent aux trois étapes des méthodes précédentes basées sur le flux mais peuvent être optimisés conjointement, ce qui conduit à un processus d'inpainting plus efficace et performant. Les résultats expérimentaux montrent que la méthode proposée surpasses les méthodes de pointe tant qualitativement que quantitativement et présente une efficacité prometteuse. Le code est disponible à l'adresse suivante : https://github.com/MCG-NKU/E2FGVI.