Fusion basée sur les événements pour le flou de mouvement avec une attention intermodale

Les caméras traditionnelles basées sur des trames souffrent inévitablement du flou de mouvement en raison de temps de pose longs. En tant que caméra bio-inspirée, la caméra à événements enregistre les variations d’intensité de manière asynchrone avec une haute résolution temporelle, fournissant ainsi des informations valables sur la dégradation de l’image sur la durée d’exposition. Dans cet article, nous repensons le problème du déflouage d’image basé sur les événements et le reformulons comme un réseau d’optimisation end-to-end en deux étapes. Pour fusionner efficacement les caractéristiques issues des événements et des images, nous proposons un module d’attention intermodale événement-image appliqué à plusieurs niveaux de notre architecture, permettant de se concentrer sur les caractéristiques pertinentes provenant de la branche événement et d’éliminer le bruit. Nous introduisons également une nouvelle représentation symétrique cumulative des événements, spécifiquement conçue pour le déflouage d’images, ainsi qu’une connexion contrôlée par un masque événement entre les deux étapes du réseau, afin de prévenir la perte d’information. Au niveau du jeu de données, afin de favoriser le déflouage motionnel basé sur les événements et de faciliter l’évaluation sur des images réelles complexes, nous introduisons le jeu de données Real Event Blur (REBlur), capturé dans un laboratoire optique à éclairage contrôlé à l’aide d’une caméra à événements. Notre réseau de fusion événement (EFNet) établit un nouveau record d’état de l’art en déflouage motionnel, surpassant à la fois la meilleure méthode précédente basée sur les images et toutes les méthodes basées sur les événements avec implémentations publiques sur le jeu de données GoPro (jusqu’à 2,47 dB) ainsi que sur notre jeu de données REBlur, même dans des conditions extrêmes de flou. Le code source ainsi que notre jeu de données REBlur seront rendus accessibles au public.