Command Palette
Search for a command to run...
C2Former : Transformer Calibré et Complémentaire pour la Détection d'Objets RGB-Infrarouge
C2Former : Transformer Calibré et Complémentaire pour la Détection d'Objets RGB-Infrarouge
Maoxun Yuan Xingxing Wei
Résumé
La détection d'objets sur des images visibles (RGB) et infrarouges (IR), en tant que solution émergente visant à faciliter une détection robuste pour des applications 24 heures sur 24, a suscité un intérêt croissant ces dernières années. Grâce à l’utilisation des images IR, les détecteurs d’objets ont gagné en fiabilité et robustesse dans les applications pratiques en exploitant conjointement les informations RGB-IR. Toutefois, les méthodes existantes souffrent encore de problèmes de désynchronisation entre modalités et d’imprécision dans la fusion des données. Étant donné que les transformateurs possèdent une puissante capacité à modéliser les corrélations par paires entre différentes caractéristiques, nous proposons dans cet article un nouveau transformateur, appelé C2Former, qui est à la fois calibré et complémentaire, afin de résoudre simultanément ces deux problèmes. Dans C2Former, nous avons conçu un module d’attention croisée inter-modalité (ICA) afin d’obtenir des caractéristiques calibrées et complémentaires en apprenant les relations d’attention croisée entre les modalités RGB et IR. Pour réduire le coût computationnel lié au calcul de l’attention globale dans ICA, un module de sélection adaptative des caractéristiques (AFS) est introduit afin de réduire la dimension des cartes de caractéristiques. Étant donné que C2Former opère dans le domaine des caractéristiques, il peut être intégré aux détecteurs d’objets RGB-IR existants via le réseau principal (backbone). Ainsi, deux détecteurs d’objets — un à une étape et un à deux étapes — incorporant notre C2Former ont été construits afin d’évaluer son efficacité et sa polyvalence. Des expériences étendues sur les jeux de données DroneVehicle et KAIST RGB-IR confirment que notre méthode permet d’exploiter pleinement les informations complémentaires RGB-IR et d’obtenir des résultats de détection robustes. Le code est disponible à l’adresse suivante : https://github.com/yuanmaoxun/Calibrated-and-Complementary-Transformer-for-RGB-Infrared-Object-Detection.git.