Apprentissage non supervisé de séquence à séquence alignée par flux pour la restauration vidéo

Comment modéliser de manière adéquate les relations entre cadres au sein d'une séquence vidéo demeure un défi important mais non résolu dans le domaine de la restauration vidéo (VR). Dans ce travail, nous proposons un modèle séquence-à-séquence non supervisé aligné par flux optique (S2SVR) afin de relever ce défi. D'une part, le modèle séquence-à-séquence, dont la capacité à modéliser des séquences a été démontrée dans le domaine du traitement du langage naturel, est exploité pour la première fois dans le contexte de la VR. La modélisation sérialisée optimisée présente un potentiel prometteur pour capturer les dépendances à longue portée entre les cadres. D'autre part, nous dotons le modèle séquence-à-séquence d’un estimateur de flux optique non supervisé afin d’exploiter pleinement son potentiel. Cet estimateur est entraîné à l’aide d’une perte de distillation non supervisée que nous proposons, capable de réduire les écarts de données et les problèmes d’imprécision du flux optique dégradé présents dans les méthodes précédentes basées sur le flux. Grâce à un flux optique fiable, nous pouvons établir des correspondances précises entre plusieurs cadres, réduisant ainsi la différence de domaine entre les séquences 1D du langage naturel et les cadres 2D désalignés, tout en améliorant le potentiel du modèle séquence-à-séquence. Le modèle S2SVR obtient des performances supérieures sur plusieurs tâches de restauration vidéo, notamment le déflouage vidéo, la super-résolution vidéo et l’amélioration de la qualité vidéo compressée. Le code et les modèles sont disponibles publiquement à l’adresse suivante : https://github.com/linjing7/VR-Baseline