要約
マルチスペクトル歩行者検出は、色画像と赤外線画像から得られる補完的な視覚情報を活用することで、より正確かつ信頼性の高い歩行者検出結果を提供できるため、多くの応用分野において重要な課題である。しかし、この技術は以下の2つの未解決かつ困難な課題に直面している：1）異なるモダリティの信頼度に応じて、効果的かつ動的にマルチスペクトル情報を統合する方法の確立、および2）信頼性の高い予測結果を生成する方法の開発。本論文では、信頼度を意識した新しいマルチスペクトル歩行者検出手法（Confidence-aware Multispectral Pedestrian Detection, CMPD）を提案する。本手法は、マルチスペクトル表現を柔軟に学習しつつ、信頼度推定を併用することで、信頼性の高い検出結果を生成する。具体的には、特徴レベルでマルチレベルのマルチスペクトル表現を抽出するための密度型融合戦略を初めて提案する。さらに、各モダリティに対する検出信頼度を動的に推定するための追加的な信頼度サブネットワークを導入する。最後に、補正された信頼度に基づいて、異なるブランチの検出結果をデムスターの結合則（Dempster's combination rule）を用いて統合する。提案するCMPD手法は、マルチモーダル情報の効果的な統合を実現するとともに、信頼性の高い予測を提供することが可能である。広範な実験結果により、最先端手法と比較して本アルゴリズムの有効性が実証された。