MLPD : Détecteur de piéton à plusieurs étiquettes dans le domaine multispectrale

La détection de piétons multispectrale a fait l’objet d’une étude active en tant que solution prometteuse à modalités multiples pour faire face aux variations d’éclairage et aux conditions météorologiques. La plupart des approches à modalités multiples reposent sur l’hypothèse que toutes les entrées sont entièrement chevauchées. Toutefois, de telles paires de données sont rares dans les applications pratiques en raison de la complexité des configurations de capteurs existantes. Dans cette lettre, nous abordons la détection de piétons multispectrale dans le cas où les données d’entrée ne sont pas appariées. À cette fin, nous proposons un nouveau cadre de détection à une seule étape qui exploite l’apprentissage multi-étiquettes pour apprendre des caractéristiques sensibles à l’état d’entrée, en attribuant une étiquette distincte en fonction de l’état donné de la paire d’images d’entrée. Nous présentons également une nouvelle stratégie d’augmentation basée sur l’application de transformations géométriques pour synthétiser des images multispectrales non appariées. Des expériences étendues démontrent l’efficacité de la méthode proposée dans diverses conditions du monde réel, notamment avec des images entièrement chevauchées et partiellement chevauchées, dans le cadre de la vision stéréo. Le code source et une vidéo de démonstration sont disponibles à l’adresse suivante : https://github.com/sejong-rcv/MLPD-Multi-Label-Pedestrian-Detection.