マルチスペクトル深層ニューラルネットワークによる歩行者検出

マルチスペクトル歩行者検出は、監視や自動運転などの24時間連続的なアプリケーションにおいて重要な役割を果たします。本研究では、Faster R-CNNのマルチスペクトル歩行者検出タスクへの適用を深く分析し、それを畳み込みニューラルネットワーク（ConvNet）融合問題としてモデル化しました。さらに、色画像または熱画像のみで訓練されたConvNetベースの歩行者検出器が人間のインスタンスを識別する際に補完的な情報を提供することを発見しました。したがって、DNN内で色画像と熱画像を同時に使用することで歩行者検出性能を大幅に向上させる可能性があります。私たちは慎重に4つのConvNet融合アーキテクチャを設計し、これらは異なるDNNステージで2つのブランチConvNetを統合しています。すべての提案手法がベースライン検出器よりも優れた性能を示すことを確認しました。KAIST歩行者ベンチマークでの実験結果によると、中間レベルの畳み込み特徴量で融合を行うHalfway Fusionモデルはベースライン手法に対して11%上回り、他の提案アーキテクチャよりも3.5%低い欠損率を達成しています。