基于无人机的多模态目标检测中弱误对齐自适应特征对齐

可见光-红外（RGB-IR）图像融合在基于无人机（UAV）的目标检测任务中展现出巨大潜力。然而，多模态图像对之间存在的弱配准问题严重制约了其在目标检测中的性能表现。现有大多数方法通常忽视模态差异，强调严格的像素级对齐，这不仅限制了配准质量的上限，还显著增加了实现成本。为应对上述挑战，本文提出一种新型方法——偏移引导自适应特征对齐（Offset-guided Adaptive Feature Alignment, OAFA），该方法能够自适应地调整多模态特征间的相对位置。考虑到模态差异对跨模态空间匹配的影响，我们设计了跨模态空间偏移建模（Cross-modality Spatial Offset Modeling, CSOM）模块，用于构建统一的特征子空间，以精确估计特征层级的偏移量。随后，引入偏移引导可变形对齐与融合（Offset-guided Deformable Alignment and Fusion, ODAF）模块，通过隐式方式捕捉适用于目标检测任务的最优融合位置，而非强制执行严格的对齐操作。大量实验结果表明，所提方法在基于无人机的目标检测任务中达到了当前最优性能，并对弱配准问题表现出强大的鲁棒性。