Réseau à double attention consciente du mouvement pour le flou dynamique dans les scènes

Le déflouage du mouvement dans des scènes dynamiques constitue une tâche difficile lorsque le flou est dû à une ou plusieurs causes telles que le mouvement des objets, les déplacements de la caméra, etc. Étant donné que les caméras à événements peuvent détecter les variations d’intensité avec une faible latence, les informations nécessaires sur le mouvement sont intrinsèquement capturées dans les données d’événements, ce qui peut s’avérer très utile pour le déflouage des images provenant de caméras standards. L’intensité de la dégradation n’est pas homogène à travers une image, en raison de facteurs tels que la profondeur des objets, leur vitesse, etc. Nous proposons une architecture à deux branches, nommée Réseau à Double Attention Sensible au Mouvement (MADANet), qui accorde une attention particulière aux régions présentant un fort flou. Dans le cadre du réseau, les données d’événements sont d’abord utilisées par un module de segmentation des régions à fort flou, qui génère un score probabiliste pour les zones présentant un mouvement relatif élevé par rapport à la caméra. Ensuite, les données d’événements sont également injectées dans les cartes de caractéristiques du corps principal du réseau, où un mécanisme d’attention secondaire est disponible pour chaque branche. L’utilisation efficace des données d’événements combinée aux deux niveaux de mécanismes d’attention rend le réseau particulièrement compact. Lors des expérimentations, il a été démontré que le réseau proposé atteint des performances de pointe non seulement sur le jeu de données de référence issu de GoPro, mais également sur deux nouveaux jeux de données collectés, dont l’un contient effectivement des données d’événements réels.