基于光照感知的深度神经网络融合多光谱数据用于行人检测

近年来，多光谱行人检测作为实现全天候应用（如安全监控和自动驾驶）中稳健的人类目标检测的一种有前景的解决方案，受到了广泛关注。本文展示了编码在多光谱图像中的光照信息可以显著提升行人的检测性能。我们提出了一种新颖的光照感知加权机制，以准确描述场景的光照条件。该光照信息被整合到双流深度卷积神经网络中，用于在不同的光照条件下（白天和夜间）学习与人类相关的多光谱特征。此外，我们还利用光照信息与多光谱数据相结合，生成更精确的语义分割图，从而进一步提高行人检测的准确性。综合以上各项技术，我们提出了一种基于光照感知行人检测和语义分割的多任务学习的强大框架。所提出的 方法采用端到端的方式进行训练，使用精心设计的多任务损失函数，并在KAIST多光谱行人数据集上超越了现有最先进的方法。