Interpolation de Cadres Vidéo par Convolution Séparable Adaptative

Les méthodes standard d'interpolation de cadres vidéo estiment d'abord le flot optique entre les cadres d'entrée, puis synthétisent un cadre intermédiaire guidé par le mouvement. Les approches récentes fusionnent ces deux étapes en un seul processus de convolution en convoluant les cadres d'entrée avec des noyaux spatialement adaptatifs qui prennent en compte le mouvement et la rééchantillonnage simultanément. Ces méthodes nécessitent des noyaux de grande taille pour gérer des mouvements importants, ce qui limite le nombre de pixels dont les noyaux peuvent être estimés simultanément en raison de la forte demande en mémoire. Pour résoudre ce problème, cet article formule l'interpolation de cadres comme une convolution séparable locale sur les cadres d'entrée à l'aide de paires de noyaux 1D. Comparativement aux noyaux 2D réguliers, les noyaux 1D nécessitent une estimation significativement moindre du nombre de paramètres. Notre méthode développe un réseau neuronal profond entièrement convolutif qui prend deux cadres d'entrée et estime des paires de noyaux 1D pour tous les pixels simultanément. Comme notre méthode est capable d'estimer les noyaux et de synthétiser l'intégralité du cadre vidéo en une seule fois, elle permet l'intégration d'une perte perceptive pour entraîner le réseau neuronal à produire des cadres visuellement agréables. Ce réseau neuronal profond est entraîné de bout en bout à l'aide de données vidéo largement disponibles sans aucune annotation humaine. Les expériences qualitatives et quantitatives montrent que notre méthode offre une solution pratique à l'interpolation de cadres vidéo haute qualité.