Fusion RGB-Événement pour la Détection d'Objets en Mouvement dans la Conduite Autonome
La détection d'objets en mouvement (MOD) est une tâche visuelle cruciale pour la réalisation d'une conduite autonome sûre. Bien que les méthodes d'apprentissage profond aient produit des résultats plausibles, la plupart des approches existantes sont basées sur des images individuelles et peuvent échouer à atteindre une performance raisonnable lorsqu'elles traitent des participants au trafic dynamiques. Les récentes avancées dans les technologies de capteurs, en particulier la caméra événementielle, peuvent naturellement compléter l'approche traditionnelle à base de caméra pour modéliser de manière plus efficace les objets en mouvement. Cependant, les travaux basés sur les événements adoptent souvent une fenêtre temporelle prédéfinie pour la représentation des événements, et intègrent simplement cette représentation pour estimer les intensités d'image à partir des événements, négligeant ainsi une grande partie des informations temporelles riches provenant des événements asynchrones disponibles.Dans cette optique, nous proposons RENet, un réseau de fusion RGB-Événement novateur qui exploite conjointement les deux modalités complémentaires pour obtenir une MOD plus robuste dans des scénarios difficiles pour la conduite autonome. Plus précisément, nous concevons tout d'abord un module d'agrégation multi-échelle temporelle afin de tirer pleinement parti des images événementielles issues tant du temps d'exposition RGB que d'intervalles plus longs. Ensuite, nous introduisons un module de fusion bidirectionnel pour calibrer et fusionner attentivement les caractéristiques multimodales. Pour évaluer les performances de notre réseau, nous avons soigneusement sélectionné et annoté un sous-ensemble de données MOD à partir du jeu de données DSEC couramment utilisé. De nombreuses expériences montrent que notre méthode proposée performe significativement mieux que les alternatives actuelles de fusion RGB-Événement. Le code source et le jeu de données sont librement accessibles à l'adresse suivante : https://github.com/ZZY-Zhou/RENet.