Interpolation de trames vidéo par raffinement du résidu

L’interpolation de trames vidéo permet d’obtenir une résolution temporelle accrue en générant des transitions fluides entre les trames. Bien que les réseaux neuronaux profonds aient permis des progrès considérables, les images synthétisées souffrent encore de performances visuelles insatisfaisantes et de artifacts notables. Dans cet article, nous proposons une nouvelle architecture de réseau qui exploite une révision du résidu et un poids adaptatif afin de synthétiser les trames intermédiaires. La technique de révision du résidu est appliquée à la fois au flux optique et à la génération d’images, permettant ainsi une meilleure précision et une apparence visuelle améliorée. Par ailleurs, la carte de poids adaptatif combine les trames déformées vers l’avant et vers l’arrière afin de réduire les artifacts. En outre, tous les sous-modules de notre méthode sont implémentés à l’aide de réseaux U-Net à profondeur réduite, garantissant ainsi une efficacité élevée. Des expériences menées sur des jeux de données publics démontrent l’efficacité et la supériorité de notre approche par rapport aux méthodes les plus avancées de l’état de l’art.