Flouer davantage pour mieux déflouter : Multi-Blur2Deblur pour un défloutage vidéo efficace

L’un des composants clés du déflouage vidéo réside dans l’exploitation des trames voisines. Les méthodes les plus récentes et les plus performantes ont soit utilisé des trames adjacentes alignées par rapport à la trame centrale, soit propagé de manière récurrente les informations provenant des trames antérieures vers la trame actuelle. Dans cette étude, nous proposons une nouvelle approche, appelée multi-blur-to-deblur (MB2D), visant à exploiter efficacement les trames voisines pour le déflouage vidéo. Premièrement, inspirés par le masquage de netteté (unsharp masking), nous soutenons que l’utilisation de plusieurs images plus floues, obtenues par des temps de pose longs, comme entrées supplémentaires améliore significativement les performances. Deuxièmement, nous introduisons un réseau de neurones récurrent à multi-flou (MBRNN), capable de générer des images plus floues à partir des trames voisines, ce qui permet d’améliorer considérablement les résultats des méthodes existantes de déflouage vidéo. Enfin, nous proposons une méthode de déflouage multi-échelle combinant des cartes de caractéristiques récurrentes issues du MBRNN (MSDR), permettant d’atteindre des performances de pointe sur les jeux de données populaires GoPro et Su, de manière rapide et efficace en mémoire.