Réviser le suivi basé sur les événements couleur : un réseau unifié, un jeu de données et une métrique

La combinaison des caméras couleur et des caméras à événements (également appelées capteurs de vision dynamique, DVS) pour une traçabilité robuste des objets est un sujet de recherche émergent ces dernières années. Les cadres existants de traçabilité couleur-événements comportent généralement plusieurs modules épars, ce qui peut entraîner une faible efficacité et une complexité computationnelle élevée, incluant l'extraction de caractéristiques, la fusion, le correspondance, l'apprentissage interactif, etc. Dans cet article, nous proposons un réseau principal à une seule étape pour la traçabilité unifiée couleur-événements (CEUTrack), capable d’accomplir simultanément les fonctions ci-dessus. Étant donné les points d’événements et les trames RGB, nous transformons d’abord les points en voxels, puis extrayons respectivement les régions de référence et de recherche pour chaque modalité. Ces régions sont ensuite projetées en tokens et alimentées en parallèle dans un réseau principal Transformer unifié. Les caractéristiques de sortie sont ensuite transmises à une tête de traçabilité pour localiser l’objet cible. Le modèle CEUTrack proposé est simple, efficace et performant, atteignant une fréquence de traitement dépassant 75 FPS ainsi que de nouvelles performances SOTA (state-of-the-art). Pour mieux valider l’efficacité de notre modèle et pallier le manque de données pour cette tâche, nous proposons également un jeu de données générique et à grande échelle pour la traçabilité couleur-événements, nommé COESOT, comprenant 90 catégories et 1354 séquences vidéo. En outre, nous introduisons dans notre outil d’évaluation un nouveau métrique, appelé BOC, afin d’évaluer la performance relative par rapport aux méthodes de référence. Nous espérons que la méthode, le jeu de données et le métrique proposés offriront une plateforme améliorée pour la traçabilité basée sur les capteurs couleur-événements. Le jeu de données, l’outil d’évaluation et le code source seront publiés à l’adresse suivante : \url{https://github.com/Event-AHU/COESOT}.