摘要
多光谱行人检测在光照条件不佳的情况下表现出显著的优势，因为热成像模态为彩色图像提供了补充信息。然而，实际的多光谱数据存在位置偏移问题，即彩色-热成像图像对未能严格对齐，导致同一物体在不同模态中具有不同的位置。在基于深度学习的方法中，这一问题使得从两种模态融合特征图变得困难，并且给卷积神经网络（CNN）的训练带来了挑战。本文提出了一种新颖的对齐区域卷积神经网络（Aligned Region CNN, AR-CNN），以端到端的方式处理弱对齐的多光谱数据。首先，我们设计了一个区域特征对齐（Region Feature Alignment, RFA）模块来捕捉位置偏移并自适应地对齐两种模态的区域特征。其次，我们提出了一种新的多模态融合方法，该方法通过特征重新加权选择更可靠的特征并抑制无用的特征。此外，我们还提出了一种新的感兴趣区域（RoI）抖动策略，以提高对不同设备和系统设置下意外偏移模式的鲁棒性。最后，由于我们的方法依赖于一种新的标注方式：匹配每种模态的边界框，我们手动重新标注了KAIST数据集，在两种模态中定位边界框并建立它们之间的关系，从而提供了一个新的KAIST-配对标注（KAIST-Paired Annotation）。我们在现有数据集上进行了广泛的实验验证，证明了所提方法的有效性和鲁棒性。代码和数据可在https://github.com/luzhang16/AR-CNN获取。