Fusion de caractéristiques attentives guidées pour la détection de piétons multispectrale

Les paires d’images multispectrales peuvent fournir des informations visuelles complémentaires, rendant les systèmes de détection de piétons plus robustes et fiables. Afin d’exploiter pleinement les modalités RGB et infrarouge thermique, nous introduisons une nouvelle approche attentive de fusion de caractéristiques multispectrales. Guidée par des modules d’attention inter- et intra-modalités, notre architecture basée sur l’apprentissage profond apprend à pondérer et à fusionner dynamiquement les caractéristiques multispectrales. Des expériences menées sur deux jeux de données publics de détection d’objets multispectraux démontrent que l’approche proposée améliore significativement la précision de détection à un coût computationnel faible.