HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage non supervisé de séquence à séquence alignée par flux pour la restauration vidéo

Jing Lin Xiaowan Hu Yuanhao Cai Haoqian Wang Youliang Yan Xueyi Zou Yulun Zhang Luc Van Gool

Résumé

Comment modéliser de manière adéquate les relations entre cadres au sein d'une séquence vidéo demeure un défi important mais non résolu dans le domaine de la restauration vidéo (VR). Dans ce travail, nous proposons un modèle séquence-à-séquence non supervisé aligné par flux optique (S2SVR) afin de relever ce défi. D'une part, le modèle séquence-à-séquence, dont la capacité à modéliser des séquences a été démontrée dans le domaine du traitement du langage naturel, est exploité pour la première fois dans le contexte de la VR. La modélisation sérialisée optimisée présente un potentiel prometteur pour capturer les dépendances à longue portée entre les cadres. D'autre part, nous dotons le modèle séquence-à-séquence d’un estimateur de flux optique non supervisé afin d’exploiter pleinement son potentiel. Cet estimateur est entraîné à l’aide d’une perte de distillation non supervisée que nous proposons, capable de réduire les écarts de données et les problèmes d’imprécision du flux optique dégradé présents dans les méthodes précédentes basées sur le flux. Grâce à un flux optique fiable, nous pouvons établir des correspondances précises entre plusieurs cadres, réduisant ainsi la différence de domaine entre les séquences 1D du langage naturel et les cadres 2D désalignés, tout en améliorant le potentiel du modèle séquence-à-séquence. Le modèle S2SVR obtient des performances supérieures sur plusieurs tâches de restauration vidéo, notamment le déflouage vidéo, la super-résolution vidéo et l’amélioration de la qualité vidéo compressée. Le code et les modèles sont disponibles publiquement à l’adresse suivante : https://github.com/linjing7/VR-Baseline


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage non supervisé de séquence à séquence alignée par flux pour la restauration vidéo | Articles | HyperAI