Fusion de données multispectrales par des réseaux neuronaux profonds sensibles à l'éclairage pour la détection de piétons

La détection piétonne multspectrale a reçu une attention considérable ces dernières années en tant que solution prometteuse pour faciliter la détection robuste de cibles humaines dans des applications 24 heures sur 24 (par exemple, la surveillance de sécurité et la conduite autonome). Dans cet article, nous démontrons que les informations d'éclairage encodées dans les images multispectrales peuvent être utilisées pour améliorer significativement les performances de la détection piétonne. Un nouveau mécanisme de pondération prenant en compte l'éclairage est présenté pour représenter précisément les conditions d'éclairage d'une scène. Ces informations d'éclairage sont intégrées dans des réseaux neuronaux convolutifs profonds à deux flux afin d'apprendre des caractéristiques humaines multispectrales sous différentes conditions d'éclairage (jour et nuit). De plus, nous utilisons conjointement les informations d'éclairage et les données multispectrales pour générer des segmentations sémantiques plus précises, qui servent à améliorer l'exactitude de la détection piétonne. En rassemblant tous ces éléments, nous présentons un cadre puissant pour la détection piétonne multispectrale basé sur l'apprentissage multitâche de la détection piétonne prenant en compte l'éclairage et de la segmentation sémantique. Notre méthode proposée est entraînée de manière end-to-end en utilisant une fonction de perte multitâche bien conçue et surpasses les approches de pointe sur le jeu de données piétonnes multispectrales KAIST.