Alignement adaptatif d'attributs faiblement libre d'alignement incorrect pour la détection d'objets multimodale basée sur les UAVs

La fusion d’images visible-infrarouge (RGB-IR) a montré un grand potentiel pour la détection d’objets basée sur des véhicules aériens non habités (UAV). Toutefois, le problème de mauvaise alignement faible entre les paires d’images multimodales limite ses performances en détection d’objets. La plupart des méthodes existantes ignorent souvent l’écart modal et mettent l’accent sur un alignement strict, ce qui fixe une borne supérieure à la qualité d’alignement et augmente les coûts d’implémentation. Pour relever ces défis, nous proposons une nouvelle méthode nommée Alignement adaptatif des caractéristiques guidé par décalage (OAFA), capable d’ajuster de manière adaptative les positions relatives entre les caractéristiques multimodales. En tenant compte de l’impact de l’écart modal sur l’alignement spatial inter-modale, un module de modélisation des décalages spatiaux inter-modaux (CSOM) est conçu afin d’établir un sous-espace commun pour estimer précisément les décalages au niveau des caractéristiques. Ensuite, un module d’alignement et de fusion déformable guidé par décalage (ODAF) est utilisé pour capturer implicitement les positions optimales de fusion adaptées à la tâche de détection, au lieu de réaliser un alignement rigoureux. Des expériences approfondies démontrent que notre méthode atteint non seulement des performances de pointe dans la tâche de détection d’objets basée sur les UAV, mais aussi une robustesse notable face au problème de mauvaise alignement faible.