VisEvent : Suivi d'objets fiable grâce à la collaboration entre flux d'images et flux d'événements

Contrairement aux caméras visibles qui enregistrent des images d’intensité cadre par cadre, la caméra événement biologiquement inspirée produit un flux d’événements asynchrones et épars, caractérisé par une latence bien plus faible. En pratique, les caméras visibles permettent une meilleure perception des détails de texture et des mouvements lents, tandis que les caméras événementielles sont exemptes de flou de mouvement et offrent une plage dynamique plus étendue, ce qui leur permet de fonctionner efficacement en conditions de mouvement rapide et d’éclairage faible. Par conséquent, ces deux capteurs peuvent coopérer pour assurer un suivi d’objets plus fiable. Dans ce travail, nous proposons un nouveau benchmark à grande échelle pour la fusion visible-événement (nommé VisEvent), en raison du manque de jeu de données réalistes et étendus pour cette tâche. Notre jeu de données comprend 820 paires de vidéos capturées dans des scénarios à faible éclairage, à haute vitesse et avec un arrière-plan encombré, et est divisé en deux sous-ensembles : un ensemble d’entraînement comprenant 500 vidéos et un ensemble de test comprenant 320 vidéos. À partir de VisEvent, nous transformons les flux d’événements en images événementielles et construisons plus de 30 méthodes de référence en étendant les traqueurs mono-modaux existants vers des versions bi-modales. Plus important encore, nous proposons un algorithme de suivi simple mais efficace en introduisant un transformateur inter-modalité, permettant une fusion de caractéristiques plus performante entre les données visuelles et événementielles. Des expériences étendues sur le jeu de données VisEvent proposé, ainsi que sur FE108, COESOT et deux jeux de données simulés (à savoir OTB-DVS et VOT-DVS), valident l’efficacité de notre modèle. Le jeu de données et le code source ont été publiés à l’adresse suivante : \url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}.