Fusion de caméras événementielles et RGB pour une détection d'objets robuste dans des conditions défavorables

La capacité à détecter des objets en présence de dégradations d’image et de conditions météorologiques variées est essentielle pour les modèles d’apprentissage profond, en particulier lorsqu’ils sont appliqués à des applications du monde réel telles que la conduite autonome. La détection basée sur les images RGB traditionnelles échoue souvent dans ces conditions, ce qui rend indispensable la conception d’un ensemble de capteurs redondant face aux défaillances de la détection principale basée sur les trames. Les caméras basées sur les événements peuvent compléter efficacement les caméras basées sur les trames dans des conditions de faible éclairage ou en présence de grandes plages dynamiques, des situations fréquentes lors de la navigation d’un véhicule autonome. Par conséquent, nous proposons un modèle de fusion de capteurs redondants combinant caméras basées sur les événements et caméras basées sur les trames, robuste aux dégradations d’image courantes. Notre méthode utilise une représentation en grille de voxels pour les événements en entrée et introduit un réseau à deux extracteurs de caractéristiques parallèles dédiés aux trames et aux événements. L’approche de fusion de capteurs proposée présente une robustesse aux dégradations supérieure de plus de 30 % par rapport à une détection uniquement basée sur les trames, tout en surpassant également la détection exclusive basée sur les événements. Le modèle est entraîné et évalué sur le jeu de données DSEC publiquement disponible.