要約
色と熱画像のマルチスペクトル画像は、特に困難な照明条件下での歩行者検出において、単一の色チャネルよりも効果的であることが示されています。しかし、これらの2つのモダリティを効果的に融合する方法に関する研究はまだ不足しています。本論文では、6種類の異なる畳み込みネットワーク融合アーキテクチャを詳細に比較し、それらの適応性を分析することで、シンプルなアーキテクチャでも最先端の結果と匹敵する検出性能を得られるようにしています。さらに、色または熱画像からの歩行者検出信頼度が照明条件と相関していることを発見しました。これを踏まえて、Illumination-aware Faster R-CNN（IAF RCNN）を提案します。具体的には、入力画像の照明状態を測定するIllumination-aware Networkを導入します。その後、照明値に基づいて定義されたゲート関数を通じて、色と熱サブネットワークを適応的に統合します。KAISTマルチスペクトル歩行者ベンチマークにおける実験結果は、提案したIAF RCNNの有効性を確認しています。