Amélioration de la détection de piétons multispectrale en traitant les problèmes d'équilibre des modalités

La détection de piétons multispectrale est capable de s’adapter aux conditions d’éclairage insuffisantes en exploitant les modalités couleur-thermique. Toutefois, elle manque encore de compréhensions approfondies sur la manière d’effectuer une fusion efficace entre ces deux modalités. Contrairement à la détection traditionnelle de piétons, nous observons que la détection multispectrale souffre de problèmes d’équilibre entre modalités, qui entravent le processus d’optimisation du réseau à double modalité et réduisent les performances du détecteur. Inspirés par cette observation, nous proposons un réseau d’équilibre de modalités (MBNet), qui facilite le processus d’optimisation de manière plus souple et équilibrée. Premièrement, nous concevons un nouveau module de fusion consciente des différences entre modalités (DMAF), permettant aux deux modalités de se compléter mutuellement. Deuxièmement, un module d’alignement adaptatif des caractéristiques sensible à l’éclairage sélectionne des caractéristiques complémentaires en fonction des conditions d’éclairage et aligne de manière dynamique les caractéristiques des deux modalités. Des résultats expérimentaux étendus démontrent que MBNet surpasser les états de l’art sur les deux ensembles de données multispectrales exigeants, KAIST et CVC-14, tant en termes de précision que d’efficacité computationnelle. Le code est disponible à l’adresse suivante : https://github.com/CalayZhou/MBNet.