摘要
近年来，将多光谱数据（尤其是可见光与红外图像）融合用于目标检测受到了广泛关注。由于可见光（RGB）与红外（IR）图像能够提供互补信息以应对光照变化，二者配对使用已在多个领域得到应用，例如多光谱行人检测、RGB-IR人群计数以及RGB-IR显著目标检测。然而，与自然场景下的RGB-IR图像相比，航拍RGB-IR图像中的目标检测面临更为严重的跨模态弱配准问题，表现为同一目标在位置、尺寸和角度上的偏差。本文主要针对航拍RGB-IR图像中的跨模态弱配准问题展开研究。具体而言，我们首先分析并解释了该弱配准问题的成因。随后，提出一种平移-尺度-旋转对齐（Translation-Scale-Rotation Alignment, TSRA）模块，通过校准两种模态的特征图来解决该问题。该模块通过一个对齐过程预测两模态间目标的偏移量，并引入模态选择（Modality-Selection, MS）策略以进一步提升对齐性能。最终，基于TSRA模块构建了一种双流特征对齐检测器（Two-Stream Feature Alignment Detector, TSFADet），用于航拍图像中的RGB-IR目标检测。在公开的DroneVehicle数据集上进行的大量实验表明，所提方法有效缓解了跨模态配准偏差的影响，实现了鲁棒且准确的检测性能。