Suppression puis sélection : une perspective de fusion de grossière à fine pour la détection d'objets RGB-infrarouge

Ces dernières années, la détection d’objets utilisant à la fois des images visibles (RGB) et des images infrarouges thermiques (IR) a suscité un intérêt croissant et a été largement appliquée dans un large éventail de domaines. En exploitant les propriétés complémentaires entre les images RGB et IR, cette tâche de détection d’objets peut atteindre une localisation fiable et robuste des objets dans diverses conditions d’éclairage, allant des environnements diurnes à ceux nocturnes. La plupart des méthodes existantes de détection d’objets multimodales introduisent directement les images RGB et IR dans des réseaux neuronaux profonds, ce qui conduit à des performances de détection inférieures. Nous estimons que ce problème provient non seulement des difficultés liées à l’intégration efficace des informations multimodales, mais aussi de la présence de caractéristiques redondantes dans chacune des modalités RGB et IR. L’information redondante de chaque modalité aggrave les problèmes d’imprécision dans la fusion des caractéristiques au cours de la propagation. Pour résoudre ce problème, nous nous inspirons du mécanisme du cerveau humain pour traiter les informations multimodales et proposons une nouvelle approche de type grossier-à-fin pour purifier et fusionner les caractéristiques provenant des deux modalités. Plus précisément, selon cette perspective, nous concevons un module de suppression du spectre redondant pour éliminer de manière grossière les informations perturbatrices au sein de chaque modalité, ainsi qu’un module de sélection dynamique des caractéristiques pour sélectionner finement les caractéristiques souhaitées afin de réaliser la fusion. Pour valider l’efficacité de la stratégie de fusion grossier-à-fin, nous avons construit un nouveau détecteur d’objets appelé Removal then Selection Detector (RSDet). Des expériences étendues sur trois jeux de données de détection d’objets RGB-IR confirment les performances supérieures de notre méthode.