Réseaux Neuronaux Profonds Multispectraux pour la Détection des Piétons

La détection piétonne multispectrale est essentielle pour les applications 24 heures sur 24, comme la surveillance et la conduite autonome. Nous analysons en profondeur Faster R-CNN pour la tâche de détection piétonne multispectrale, puis nous modélisons cette tâche en un problème de fusion de réseaux de neurones convolutifs (ConvNet). De plus, nous découvrons que les détecteurs piétons basés sur des ConvNets formés séparément avec des images couleur ou thermiques fournissent des informations complémentaires pour distinguer les instances humaines. Il existe donc un grand potentiel pour améliorer la détection piétonne en utilisant simultanément des images couleur et thermiques dans les DNNs. Nous concevons soigneusement quatre architectures de fusion ConvNet qui intègrent des ConvNets à deux branches à différents stades des DNNs, toutes offrant une meilleure performance par rapport au détecteur de base. Nos résultats expérimentaux sur le banc d'essai KAIST montrent que le modèle de Fusion Intermédiaire, qui effectue la fusion sur les caractéristiques convolutives de niveau intermédiaire, surpassent la méthode de base de 11 % et présente un taux d'omission 3,5 % inférieur aux autres architectures proposées.