確率的アンサンブルを用いたマルチモーダルオブジェクト検出

RGBカメラと赤外線カメラを用いたマルチモーダル入力による物体検出は、自律走行車（AV）をはじめとする多くの安全に敏感なシステムの性能向上に寄与する。AVが昼夜を問わず動作するという事実に着目し、特に低照度条件下で優れた物体特徴を提供する赤外線カメラとRGBカメラを組み合わせたマルチモーダル物体検出の研究を行った。本研究では、異なるモダリティ間の情報を統合するための戦略を検討し、その中で主要な貢献として、確率的アンサンブル手法であるProbEnを提案する。ProbEnは学習を必要としないシンプルな非学習型手法であり、複数モダリティからの検出結果を統合する。この手法はベイズの定理と、モダリティ間の条件付き独立性を仮定する基本原理から導出されている。確率的マージナライゼーションを用いることで、検出器が同じ物体に対して同時に作動しない（モダリティが欠損する）状況でも、ProbEnは自然にその問題に対処できる。さらに重要なことに、条件付き独立性の仮定が成り立たない場合、例えば既存の融合手法（市販品および自社で訓練した手法）の出力を統合する場合でも、ProbEnは顕著な性能向上をもたらす。本手法は、画像が揃っている（KAIST）と揃っていない（FLIR）という2つのベンチマークデータセットを用いて検証され、従来手法に対して相対的に13%以上の性能向上を達成した。