基于概率集成的多模态目标检测

基于多模态输入的目标检测可显著提升诸多安全关键系统（如自动驾驶汽车，AV）的性能。鉴于自动驾驶汽车需在昼夜不同环境下运行，本文研究了融合可见光（RGB）与热成像相机数据的多模态目标检测方法，因为热成像在光照条件较差时能提供更显著的物体特征。我们探索了不同模态间信息融合的策略，提出了一种关键性贡献——一种基于概率的集成方法，称为ProbEn。ProbEn是一种简单且无需训练的非学习型融合方法，能够将多模态检测结果进行有效整合。该方法基于贝叶斯定理与基本原理推导而来，假设各模态之间条件独立。通过概率边缘化（probabilistic marginalization），ProbEn能够优雅地处理模态缺失问题——即当某一模态的检测器未对同一目标触发时，仍可保持良好的融合效果。尤为重要的是，即使在条件独立性假设不成立的情况下（例如融合其他融合方法的输出，包括现成的与自研训练的方法），ProbEn仍能显著提升多模态检测性能。我们在两个基准数据集上对ProbEn进行了验证，这两个数据集分别包含对齐的（KAIST）和非对齐的（FLIR）多模态图像。实验结果表明，ProbEn在相对性能上较现有方法提升超过13%！