Dénouage vidéo en temps réel avec des tampons bidirectionnels

Les flux vidéo sont livrés de manière continue afin de réduire les coûts de stockage et de mémoire des appareils. Des algorithmes de débruitage en temps réel sont généralement appliqués sur le périphérique utilisateur pour éliminer le bruit introduit lors de l’enregistrement et de la transmission des flux vidéo. Toutefois, les méthodes basées sur une fenêtre glissante nécessitent plusieurs cadres d’entrée pour produire un seul cadre de sortie, ce qui entraîne une faible efficacité computationnelle. Les travaux récents sur l’inférence multi-sortie exploitent une propagation des caractéristiques temporelles bidirectionnelles via un cadre parallèle ou récurrent, mais ces approches souffrent soit d’une dégradation des performances aux bords temporels des séquences, soit d’une impossibilité d’inférence en ligne. Dans cet article, nous proposons un cadre de débruitage vidéo en flux bidirectionnel (Bidirectional Streaming Video Denoising, BSVD), permettant un débruitage en temps réel de haute fidélité pour les flux vidéo, tout en exploitant à la fois des champs réceptifs temporels passés et futurs. Bien que la fusion temporelle bidirectionnelle pour l’inférence en ligne ne soit pas applicable dans MoViNet, nous introduisons un nouveau module central appelé Bidirectional Buffer Block, qui rend cette approche réalisable dans notre pipeline d’inférence en style pipeline. En outre, notre méthode est concise et flexible, pouvant être utilisée aussi bien dans les scénarios de débruitage non aveugle que aveugle. Nous comparons notre modèle avec divers modèles d’état de l’art en débruitage vidéo, tant qualitativement que quantitativement, sur des bruits synthétiques et réels. Notre méthode surpasser les approches antérieures en termes de fidélité de restauration et de temps d’exécution. Le code source est disponible publiquement à l’adresse suivante : https://github.com/ChenyangQiQi/BSVD