显式注意力增强融合在RGB-热感知任务中的应用

近期，基于RGB-热成像的感知技术取得了显著进展。热成像信息在视觉相机受制于不良光照条件（如低光和雾）时提供了有用的线索。然而，如何有效融合RGB图像和热成像数据仍然是一个开放性挑战。以往的研究采用了诸如在输入端合并数据、在模型内部连接多模态特征或对每种数据模态应用注意力机制等简单的融合策略。这些融合策略虽然直接但并不充分。本文提出了一种新的融合方法——显式注意力增强融合（Explicit Attention-Enhanced Fusion, EAEF），该方法充分利用了每种类型的数据。具体而言，我们考虑了以下三种情况：i) 同时存在RGB数据和热成像数据；ii) 只存在其中一种类型的数据；iii) 两种数据均无法生成判别性特征。EAEF使用一个分支来增强i) 和 iii) 情况下的特征提取，而另一个分支则用于弥补ii) 情况下表示不足的问题。两个分支的输出被融合以形成互补特征。结果表明，所提出的融合方法在语义分割任务中的mIoU指标上比现有最佳方法提高了1.6%，在显著目标检测任务中的MAE指标上提高了3.1%，在目标检测任务中的mAP指标上提高了2.3%，以及在人群计数任务中的MAE指标上提高了8.1%。代码已发布在 https://github.com/FreeformRobotics/EAEFNet。