HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur Épars Spatio-temporel Sensible au Flou pour le Déflouage Vidéo

Huicong Zhang Haozhe Xie Hongxun Yao

Résumé

Le débrouillage vidéo repose sur l'exploitation des informations provenant d'autres trames de la séquence vidéo afin de restaurer les régions floues de la trame actuelle. Les approches courantes utilisent une propagation bidirectionnelle des caractéristiques, des transformateurs spatio-temporels, ou une combinaison des deux, pour extraire des informations de la séquence vidéo. Toutefois, les contraintes liées à la mémoire et aux ressources computationnelles limitent la longueur de la fenêtre temporelle des transformateurs spatio-temporels, empêchant ainsi l'extraction d'informations contextuelles temporelles plus étendues à partir de la séquence vidéo. En outre, la propagation bidirectionnelle des caractéristiques est fortement sensible aux erreurs de flux optique présentes dans les trames floues, entraînant une accumulation d'erreurs au cours du processus de propagation. Pour résoudre ces problèmes, nous proposons \textbf{BSSTNet}, un réseau \textbf{B}lur-aware \textbf{S}patio-\textbf{T}emporal \textbf{S}parse \textbf{T}ransformer. Il introduit une carte de flou qui transforme initialement l'attention dense en une forme creuse, permettant ainsi une utilisation plus étendue des informations à travers l'ensemble de la séquence vidéo. Plus précisément, BSSTNet (1) utilise une fenêtre temporelle plus longue dans le transformateur, exploitant les informations provenant de trames plus éloignées pour restaurer les pixels flous de la trame actuelle. (2) introduit une propagation bidirectionnelle des caractéristiques guidée par la carte de flou, réduisant ainsi l'accumulation d'erreurs causée par les trames floues. Les résultats expérimentaux montrent que BSSTNet surpasser les méthodes de pointe sur les jeux de données GoPro et DVD.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp