ST-MFNet : Un réseau multi-flux spatio-temporel pour l'interpolation de trames

L’interpolation de trames vidéo (VFI) est actuellement un domaine de recherche très actif, avec des applications s’étendant du traitement d’images, à la post-production et au codage vidéo. Cette tâche peut s’avérer extrêmement difficile, notamment dans les séquences présentant de grands mouvements, des occlusions ou des textures dynamiques, où les approches existantes échouent à offrir une performance d’interpolation perceptuellement robuste. Dans ce contexte, nous proposons une nouvelle méthode de VFI basée sur l’apprentissage profond, nommée ST-MFNet, fondée sur une architecture Spatio-Temporelle à Multi-Flux. ST-MFNet utilise un nouveau prédicteur multi-échelle à multi-flux pour estimer des flux intermédiaires de type « plusieurs vers un », qui sont combinés aux flux optiques classiques « un vers un » afin de capturer à la fois les grands mouvements et les mouvements complexes. Afin d’améliorer la performance d’interpolation pour divers types de textures, un réseau de neurones convolutif 3D (3D CNN) est également employé pour modéliser les dynamiques du contenu sur une fenêtre temporelle étendue. En outre, ST-MFNet a été entraîné dans un cadre ST-GAN, initialement développé pour la synthèse de textures, dans le but d’optimiser davantage la qualité perceptuelle de l’interpolation. Notre approche a été évaluée de manière exhaustive, en comparaison avec quatorze algorithmes de pointe en VFI, démontrant clairement que ST-MFNet surpasse de manière cohérente ces références sur des jeux de données variés et représentatifs, avec des gains significatifs atteignant jusqu’à 1,09 dB en PSNR dans des cas incluant de grands mouvements et des textures dynamiques. Page du projet : https://danielism97.github.io/ST-MFNet.