摘要
行人检测是安全关键系统中的一项关键任务，但在低光照及恶劣天气条件下，行人检测仍面临巨大挑战。热成像图像可通过提供与RGB图像互补的信息，有效提升检测的鲁棒性。以往研究已表明，基于卷积操作的多模态特征融合方法具有一定有效性，但这类方法仅依赖局部特征相关性，难以充分挖掘跨模态间的深层关联，导致性能受限。为解决这一问题，本文提出一种基于注意力机制的新型融合网络——INSANet（Intra-Intra Spectral Attention Network），该网络能够捕获模态内与模态间的全局信息。INSANet由模态内注意力块与模态间注意力块构成，使模型能够学习不同谱段之间的相互关系。此外，我们发现多谱段数据集中存在因多种因素导致的样本分布不均衡问题，并据此设计了一种增强策略，有效缓解了样本集中分布现象，使模型能够更好地学习行人出现在多样化空间位置的特征。大量实验结果表明，所提出方法在KAIST数据集和LLVIP数据集上均取得了当前最优的检测性能。最后，我们进行了区域性能评估，进一步验证了所提网络在不同地理区域下的有效性与泛化能力。