Dénouage vidéo multi-étapes efficace avec fusion récurrente spatio-temporelle

Ces dernières années, les méthodes de suppression de bruit basées sur l’apprentissage profond ont atteint des performances sans précédent, au prix d’une complexité computationnelle élevée. Dans ce travail, nous proposons un algorithme efficace de suppression de bruit vidéo en plusieurs étapes, appelé EMVD, permettant de réduire drastiquement la complexité tout en maintenant ou même améliorant les performances. Tout d’abord, une étape de fusion réduit le bruit grâce à une combinaison récursive de toutes les trames passées de la vidéo. Ensuite, une étape de suppression de bruit élimine le bruit dans la trame fusionnée. Enfin, une étape de raffinement restaure les hautes fréquences manquantes dans la trame débruitée. Toutes ces étapes opèrent sur une représentation dans un domaine de transformation obtenue à partir d’opérateurs linéaires apprenables et inversibles, qui augmentent simultanément la précision et réduisent la complexité du modèle. Une seule fonction de perte appliquée à la sortie finale suffit pour assurer une convergence réussie, rendant ainsi EMVD facile à entraîner. Des expériences effectuées sur des données brutes réelles montrent qu’EMVD surpasse l’état de l’art lorsque la complexité est contrainte, et conserve même une compétitivité face à des méthodes dont la complexité est plusieurs ordres de grandeur supérieure. En outre, la faible complexité et les faibles besoins en mémoire d’EMVD permettent une suppression de bruit vidéo en temps réel sur des SoC commerciaux intégrés dans les dispositifs mobiles.