Splatting many-to-many pour une interpolation efficace de trames vidéo

L’interpolation de cadres vidéo basée sur le mouvement repose généralement sur le flux optique pour déformer les pixels des images d’entrée vers l’instant d’interpolation souhaité. Toutefois, en raison des défis inhérents à l’estimation du mouvement (par exemple les occlusions et les discontinuités), la plupart des méthodes d’interpolation les plus avancées nécessitent une étape ultérieure de raffinement du résultat déformé afin d’obtenir des sorties de qualité satisfaisante, ce qui réduit considérablement l’efficacité dans le cadre de l’interpolation multi-cadres. Dans ce travail, nous proposons un cadre entièrement différentiable de type Many-to-Many (M2M) basé sur le splatting pour interpoler efficacement des cadres. Plus précisément, étant donné une paire de cadres, nous estimons plusieurs flux bidirectionnels afin de déformer directement les pixels vers l’instant temporel souhaité, puis fusionnons les pixels superposés. Ainsi, chaque pixel source contribue à plusieurs pixels cibles, tandis que chaque pixel cible peut être synthétisé à partir d’une plus grande région de contexte visuel. Ce mécanisme établit un schéma de splatting many-to-many robuste aux artefacts tels que les trous. En outre, pour chaque paire d’images d’entrée, M2M n’effectue qu’une seule estimation de mouvement, et présente un surcoût computationnel négligeable lors de l’interpolation d’un nombre arbitraire de cadres intermédiaires, permettant ainsi une interpolation multi-cadres rapide. Nous avons mené des expériences approfondies pour analyser M2M, et avons constaté qu’il améliore significativement l’efficacité tout en maintenant une haute efficacité.