Détection d'objets multimodale par ensemblage probabiliste

La détection d’objets à l’aide d’entrées multimodales peut améliorer de nombreux systèmes critiques pour la sécurité, tels que les véhicules autonomes (AV). Motivés par le fonctionnement des AV à la fois en journée et en nuit, nous étudions la détection d’objets multimodale à partir de caméras RGB et thermiques, la seconde fournissant des signatures d’objets bien plus fortes dans des conditions d’éclairage défavorables. Nous explorons différentes stratégies de fusion des informations provenant de modalités distinctes. Notre apport principal est une technique de fusion probabiliste, appelée ProbEn, une méthode simple et non apprise qui combine les détections issues de modalités multiples. ProbEn est dérivée de la règle de Bayes et de principes fondamentaux supposant une indépendance conditionnelle entre les modalités. Grâce à une marginalisation probabiliste, ProbEn gère élégamment la disparition de certaines modalités lorsque les détecteurs ne détectent pas le même objet simultanément. Plus important encore, ProbEn améliore significativement la détection multimodale même lorsque l’hypothèse d’indépendance conditionnelle n’est pas vérifiée, par exemple lors de la fusion de sorties provenant d’autres méthodes de fusion (que ce soit des solutions commerciales ou entraînées in-house). Nous validons ProbEn sur deux benchmarks contenant des images multimodales alignées (KAIST) et non alignées (FLIR), montrant que ProbEn surpasser les méthodes antérieures de plus de 13 % en performance relative !