Inpainting Vidéo Guidé par le Flux Profond

Le remplissage de vidéos (video inpainting), qui vise à combler les régions manquantes d'une vidéo, reste un défi en raison de la difficulté à préserver la cohérence spatiale et temporelle précise des contenus vidéo. Dans ce travail, nous proposons une nouvelle approche de remplissage de vidéos guidée par le flux optique. Au lieu de remplir directement les pixels RGB de chaque image, nous considérons le remplissage de vidéos comme un problème de propagation des pixels. Nous synthétisons d'abord un champ de flux optique cohérent spatialement et temporellement à travers les images vidéo en utilisant un réseau neuronal profond spécifiquement conçu pour l'achèvement du flux (Deep Flow Completion network). Ensuite, le champ de flux synthétisé est utilisé pour guider la propagation des pixels afin de combler les régions manquantes dans la vidéo. Plus précisément, le réseau neuronal profond pour l'achèvement du flux suit une stratégie d'affinement progressif allant du grossier au fin pour compléter les champs de flux, tandis que leur qualité est encore améliorée par l'extraction d'exemples difficiles de flux. Grâce à la guidance fournie par le flux complété, les régions manquantes des vidéos peuvent être comblées avec précision. Notre méthode a été évaluée qualitativement et quantitativement sur les jeux de données DAVIS et YouTube-VOS, atteignant des performances d'état de l'art en termes de qualité et de rapidité du remplissage.