摘要
多光谱颜色-热图像对在行人检测中比单一颜色通道更有效，尤其是在光照条件具有挑战性的情况下。然而，关于如何有效地融合这两种模态的研究仍然不足。本文深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，使得一种基础架构能够获得与当前最先进结果相当的检测性能。此外，我们发现来自颜色或热图像的行人检测置信度与光照条件相关。基于这一认识，我们提出了一种光照感知型Faster R-CNN（Illumination-aware Faster R-CNN，简称IAF R-CNN）。具体而言，引入了一个光照感知网络来对输入图像进行光照测量。然后通过定义在光照值上的门函数自适应地合并颜色和热子网络。KAIST多光谱行人基准测试上的实验结果验证了所提出的IAF R-CNN的有效性。