ICAFusion : Fusion de caractéristiques guidée par une attention croisée itérative pour la détection d'objets multispectraux

La fusion efficace des caractéristiques d'images multi-spectrales joue un rôle crucial dans la détection d'objets multi-spectraux. Les études précédentes ont démontré l'efficacité de la fusion des caractéristiques à l'aide de réseaux neuronaux convolutifs, mais ces méthodes sont sensibles au désalignement des images en raison de la déficience inhérente dans l'interaction des caractéristiques à court rayon, ce qui entraîne une dégradation des performances. Pour résoudre ce problème, un nouveau cadre de fusion des caractéristiques basé sur des transformateurs à double attention croisée est proposé afin de modéliser l'interaction globale des caractéristiques et de capturer simultanément les informations complémentaires entre les modalités. Ce cadre améliore la discernabilité des caractéristiques d'objets grâce au mécanisme d'attention croisée guidée par la requête, conduisant ainsi à de meilleures performances. Cependant, l'empilement de plusieurs blocs de transformateurs pour l'amélioration des caractéristiques entraîne un grand nombre de paramètres et une complexité spatiale élevée. Pour gérer cela, inspirés par le processus humain de révision du savoir, un mécanisme d'interaction itérative est proposé pour partager les paramètres entre les transformateurs multimodaux par blocs, réduisant ainsi la complexité du modèle et le coût computationnel. La méthode proposée est générale et efficace, pouvant être intégrée dans différents cadres de détection et utilisée avec différentes architectures de backbone. Les résultats expérimentaux sur les jeux de données KAIST, FLIR et VEDAI montrent que la méthode proposée atteint des performances supérieures et une inférence plus rapide, ce qui la rend adaptée à divers scénarios pratiques. Le code sera disponible sur https://github.com/chanchanchan97/ICAFusion.