INSANet : Réseau d'attention spectrale intra-intra pour une fusion efficace des caractéristiques dans la détection de piétons multispectrale

La détection de piétons constitue une tâche cruciale pour les systèmes critiques en matière de sécurité, mais elle demeure difficile dans des conditions de faible luminosité ou météorologiques défavorables. Les images thermiques peuvent améliorer la robustesse en apportant des informations complémentaires aux images RGB. Des études antérieures ont montré que la fusion de caractéristiques multi-modales basée sur des opérations de convolution peut s’avérer efficace, mais ces méthodes s’appuient uniquement sur des corrélations locales entre caractéristiques, ce qui peut entraîner une dégradation des performances. Pour résoudre ce problème, nous proposons un nouveau réseau de fusion fondé sur l’attention, appelé INSANet (INtra-INter Spectral Attention Network), capable de capturer à la fois les informations intra-spectrales et inter-spectrales globales. Ce réseau se compose de blocs d’attention intra- et inter-spectrales, permettant au modèle d’apprendre les relations spectrales mutuelles. Par ailleurs, nous avons identifié un déséquilibre dans le jeu de données multispectrales dû à plusieurs facteurs, et avons conçu une stratégie d’augmentation des données qui atténue les distributions concentrées et permet au modèle d’apprendre les positions variées des piétons. Des expérimentations étendues démontrent l’efficacité des méthodes proposées, qui atteignent des performances de pointe sur les jeux de données KAIST et LLVIP. Enfin, une évaluation de performance régionale est menée afin de valider l’efficacité de notre réseau dans divers contextes géographiques.