Suivi d'objets par une exploitation conjointe des domaines trame et événement

Inspirés par la complémentarité entre les caméras classiques basées sur des trames et les caméras bio-inspirées basées sur des événements, nous proposons une approche multi-modale visant à fusionner les indices visuels provenant des domaines trame et événement afin d’améliorer les performances de suivi d’un seul objet, en particulier dans des conditions dégradées (par exemple, scènes à fort contraste dynamique, faible éclairage, objets en mouvement rapide). L’approche proposée permet de combiner de manière efficace et adaptative les informations pertinentes issues des deux domaines. Son efficacité est renforcée par un nouveau schéma d’attention inter-domaines, conçu pour renforcer efficacement les caractéristiques grâce à des mécanismes d’attention auto- et inter-domaines ; l’adaptativité est assurée par un schéma de pondération spécialement conçu, capable d’ajuster de manière dynamique la contribution des deux domaines. Pour exploiter pleinement les indices visuels basés sur les événements dans le suivi d’objet unique, nous avons construit un grand jeu de données trame-événements, que nous utilisons ensuite pour entraîner un nouveau modèle de fusion trame-événements. Des expériences étendues montrent que l’approche proposée dépasse les méthodes d’état de l’art basées sur les trames de plus de 10,4 % et 11,9 % en taux de succès et en taux de précision, respectivement. En outre, l’efficacité de chaque composant clé de notre méthode est confirmée par une étude d’ablation approfondie.