COMISR : Compression-Informé Résolution de Vidéo de Haute Résolution

La plupart des méthodes actuelles de super-résolution vidéo se concentrent sur la reconstruction de cadres vidéo en haute résolution à partir de vidéos en basse résolution, sans tenir compte du processus de compression. Or, la majorité des vidéos disponibles sur le web ou sur les appareils mobiles sont compressées, et cette compression peut être très sévère lorsque la bande passante est limitée. Dans cet article, nous proposons un nouveau modèle de super-résolution vidéo informé de la compression, capable de restaurer le contenu en haute résolution sans introduire d'artefacts dus à la compression. Le modèle proposé comporte trois modules dédiés à la super-résolution vidéo : une déformation récurrente bidirectionnelle, une estimation préservant les détails du flux optique, et une amélioration basée sur le laplacien. Ces trois modules sont spécifiquement conçus pour prendre en compte les propriétés liées à la compression, telles que la localisation des images intra dans l’entrée et la régularité des cadres de sortie. Pour une évaluation complète de la performance, nous avons mené des expériences approfondies sur des jeux de données standards, couvrant une large gamme de taux de compression, afin de représenter de nombreux scénarios réels d’utilisation vidéo. Nous démontrons que notre méthode non seulement restaure efficacement le contenu en haute résolution à partir de cadres non compressés issus de jeux de données standards largement utilisés, mais qu’elle atteint également des performances de pointe dans la super-résolution de vidéos compressées, selon de nombreux critères quantitatifs. Nous avons également évalué la méthode en simulant un flux vidéo issu de YouTube, afin de montrer son efficacité et sa robustesse. Les codes sources et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/google-research/google-research/tree/master/comisr.