照明認識型深層ニューラルネットワークを用いた歩行者検出のためのマルチスペクトルデータの融合

近年、マルチスペクトル歩行者検出は、昼夜を問わず堅牢な人間目標検出を実現する有望な解決策として注目を集めています（例：セキュリティ監視や自動運転）。本論文では、マルチスペクトル画像に符号化された照明情報を用いて歩行者検出の性能を大幅に向上させることを示します。新しい照明認識型重み付け機構が提案され、シーンの照明状況を正確に表現します。この照明情報は、昼間と夜間の異なる照明条件下でマルチスペクトルの人間関連特徴を学習するための2ストリーム深層畳み込みニューラルネットワーク（DCNN）に組み込まれます。さらに、照明情報とマルチスペクトルデータを併用してより正確な意味分割を作成し、これを用いて歩行者検出の精度を向上させます。これらの要素を総合的に組み合わせて、照明認識型歩行者検出と意味分割の多タスク学習に基づく強力なマルチスペクトル歩行者検出フレームワークを提案します。提案手法は、巧妙に設計された多タスク損失関数を使用してエンドツーエンドで学習され、KAISTマルチスペクトル歩行者データセットにおいて最先端の手法を超える性能を達成しています。