HyperAIHyperAI

Command Palette

Search for a command to run...

Dénouage vidéo en temps réel avec des tampons bidirectionnels

Chenyang Qi Junming Chen Xin Yang Qifeng Chen

Résumé

Les flux vidéo sont livrés de manière continue afin de réduire les coûts de stockage et de mémoire des appareils. Des algorithmes de débruitage en temps réel sont généralement appliqués sur le périphérique utilisateur pour éliminer le bruit introduit lors de l’enregistrement et de la transmission des flux vidéo. Toutefois, les méthodes basées sur une fenêtre glissante nécessitent plusieurs cadres d’entrée pour produire un seul cadre de sortie, ce qui entraîne une faible efficacité computationnelle. Les travaux récents sur l’inférence multi-sortie exploitent une propagation des caractéristiques temporelles bidirectionnelles via un cadre parallèle ou récurrent, mais ces approches souffrent soit d’une dégradation des performances aux bords temporels des séquences, soit d’une impossibilité d’inférence en ligne. Dans cet article, nous proposons un cadre de débruitage vidéo en flux bidirectionnel (Bidirectional Streaming Video Denoising, BSVD), permettant un débruitage en temps réel de haute fidélité pour les flux vidéo, tout en exploitant à la fois des champs réceptifs temporels passés et futurs. Bien que la fusion temporelle bidirectionnelle pour l’inférence en ligne ne soit pas applicable dans MoViNet, nous introduisons un nouveau module central appelé Bidirectional Buffer Block, qui rend cette approche réalisable dans notre pipeline d’inférence en style pipeline. En outre, notre méthode est concise et flexible, pouvant être utilisée aussi bien dans les scénarios de débruitage non aveugle que aveugle. Nous comparons notre modèle avec divers modèles d’état de l’art en débruitage vidéo, tant qualitativement que quantitativement, sur des bruits synthétiques et réels. Notre méthode surpasser les approches antérieures en termes de fidélité de restauration et de temps d’exécution. Le code source est disponible publiquement à l’adresse suivante : https://github.com/ChenyangQiQi/BSVD


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Dénouage vidéo en temps réel avec des tampons bidirectionnels | Articles | HyperAI