HyperAIHyperAI

Command Palette

Search for a command to run...

C2\mathbf{C}^2C2Former : Transformer Calibré et Complémentaire pour la Détection d'Objets RGB-Infrarouge

Maoxun Yuan Xingxing Wei

Résumé

La détection d'objets sur des images visibles (RGB) et infrarouges (IR), en tant que solution émergente visant à faciliter une détection robuste pour des applications 24 heures sur 24, a suscité un intérêt croissant ces dernières années. Grâce à l’utilisation des images IR, les détecteurs d’objets ont gagné en fiabilité et robustesse dans les applications pratiques en exploitant conjointement les informations RGB-IR. Toutefois, les méthodes existantes souffrent encore de problèmes de désynchronisation entre modalités et d’imprécision dans la fusion des données. Étant donné que les transformateurs possèdent une puissante capacité à modéliser les corrélations par paires entre différentes caractéristiques, nous proposons dans cet article un nouveau transformateur, appelé C2\mathrm{C}^2C2Former, qui est à la fois calibré et complémentaire, afin de résoudre simultanément ces deux problèmes. Dans C2\mathrm{C}^2C2Former, nous avons conçu un module d’attention croisée inter-modalité (ICA) afin d’obtenir des caractéristiques calibrées et complémentaires en apprenant les relations d’attention croisée entre les modalités RGB et IR. Pour réduire le coût computationnel lié au calcul de l’attention globale dans ICA, un module de sélection adaptative des caractéristiques (AFS) est introduit afin de réduire la dimension des cartes de caractéristiques. Étant donné que C2\mathrm{C}^2C2Former opère dans le domaine des caractéristiques, il peut être intégré aux détecteurs d’objets RGB-IR existants via le réseau principal (backbone). Ainsi, deux détecteurs d’objets — un à une étape et un à deux étapes — incorporant notre C2\mathrm{C}^2C2Former ont été construits afin d’évaluer son efficacité et sa polyvalence. Des expériences étendues sur les jeux de données DroneVehicle et KAIST RGB-IR confirment que notre méthode permet d’exploiter pleinement les informations complémentaires RGB-IR et d’obtenir des résultats de détection robustes. Le code est disponible à l’adresse suivante : https://github.com/yuanmaoxun/Calibrated-and-Complementary-Transformer-for-RGB-Infrared-Object-Detection.git.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp