Détection de véhicules à travers une modalité croisée RGB-Infrarouge basée sur drone par apprentissage conscient de l'incertitude

La détection de véhicules à partir de drones vise à localiser et classifier les véhicules dans une image aérienne. Cette technologie renforce la gestion intelligente du trafic urbain ainsi que les opérations de secours en cas de catastrophe. Les chercheurs ont consacré de nombreux efforts à ce domaine et ont obtenu des progrès considérables. Toutefois, il reste un défi majeur lorsque les objets sont difficiles à distinguer, en particulier dans des conditions de faible éclairage. Pour relever ce défi, nous avons construit un grand jeu de données dédié à la détection de véhicules à partir de drones, combinant images RGB et infrarouges, que nous avons nommé DroneVehicle. Ce jeu de données comprend 28 439 paires d’images RGB-infrarouges, couvrant divers scénarios tels que des routes urbaines, des zones résidentielles, des parkings et d'autres environnements, à la fois en journée et en soirée. En raison de l’écart important entre les images RGB et infrarouges, les images multimodales apportent à la fois des informations pertinentes et des informations redondantes. Pour surmonter ce dilemme, nous proposons par ailleurs un cadre de détection de véhicules multimodal sensible à l’incertitude, appelé UA-CMDet, qui permet d’extraire efficacement des informations complémentaires à partir des images multimodales, améliorant ainsi significativement les performances de détection dans des conditions de faible éclairage. Un module sensible à l’incertitude (UAM) a été conçu pour quantifier les poids d’incertitude associés à chaque modalité, calculés à partir de la mesure d’intersection sur union (IoU) entre modalités et de la valeur d’éclairement RGB. Par ailleurs, nous avons développé un algorithme de suppression non maximale multimodal sensible à l’éclairement, afin d’intégrer de manière optimale les informations spécifiques à chaque modalité lors de l’étape d’inférence. Des expérimentations étendues sur le jeu de données DroneVehicle démontrent la flexibilité et l’efficacité de la méthode proposée pour la détection multimodale de véhicules. Le jeu de données est disponible au lien suivant : https://github.com/VisDrone/DroneVehicle.