Réduction de la résolution vidéo en temps réel avec des réseaux spatio-temporels et une compensation de mouvement

Les réseaux de neurones convolutifs ont permis une interpolation d'image en haute résolution précise et en temps réel. Cependant, les tentatives récentes d'exploiter les corrélations temporelles dans le cadre de l'interpolation vidéo en haute résolution se sont limitées à des architectures naïves ou inefficaces. Dans cet article, nous présentons des réseaux de convolution sous-pixeliques spatio-temporels qui exploitent efficacement les redondances temporelles et améliorent la précision de la reconstruction tout en maintenant une vitesse en temps réel. Plus précisément, nous abordons l'utilisation de la fusion précoce, de la fusion lente et des convolutions 3D pour le traitement conjoint de plusieurs images consécutives d'une vidéo. Nous proposons également un nouvel algorithme de compensation de mouvement et d'interpolation vidéo en haute résolution qui est des ordres de grandeur plus efficace que les méthodes concurrentes, grâce à un module rapide de transformation spatiale multi-résolution entièrement entraînable (end-to-end). Ces contributions offrent une meilleure précision et une cohérence temporelle accrue des vidéos, que nous confirmons qualitativement et quantitativement. Par rapport aux modèles mono-image, les réseaux spatio-temporels peuvent soit réduire le coût computationnel de 30% tout en maintenant la même qualité, soit fournir un gain de 0,2 dB pour un coût computationnel similaire. Les résultats sur des jeux de données publiquement disponibles démontrent que les algorithmes proposés surpassent les performances actuelles de l'état de l'art tant en termes de précision qu'efficacité.