FILM : Interpolation d'images pour grands mouvements

Nous présentons un algorithme d’interpolation d’images qui synthétise plusieurs images intermédiaires à partir de deux images d’entrée présentant un mouvement important entre elles. Les méthodes récentes utilisent plusieurs réseaux pour estimer le flux optique ou la profondeur, ainsi qu’un réseau dédié à la synthèse d’images. Cette approche est souvent complexe et nécessite des données de référence rares pour le flux optique ou la profondeur. Dans ce travail, nous proposons un réseau unique et unifié, caractérisé par un extracteur de caractéristiques multi-échelle partageant les poids à toutes les échelles, et entraînable uniquement à partir d’images. Pour produire des images nettes et esthétiquement plaisantes, nous proposons d’optimiser notre réseau en utilisant une perte basée sur la matrice de Gram, qui mesure la différence de corrélation entre les cartes de caractéristiques. Notre méthode surpasse les états de l’art sur le benchmark Xiph à fort mouvement. Nous obtenons également de meilleurs scores sur Vimeo-90K, Middlebury et UCF101, comparée aux méthodes utilisant des pertes perceptuelles. Nous étudions l’impact du partage de poids et de l’entraînement sur des jeux de données présentant une plage croissante de mouvements. Enfin, nous démontrons l’efficacité de notre modèle pour synthétiser des vidéos de haute qualité et temporellement cohérentes sur un jeu de données difficile de photos presque identiques. Le code source et les modèles pré-entraînés sont disponibles à l’adresse https://film-net.github.io.