悪条件下的ロバストなオブジェクト検出のためのイベントベースカメラとRGBカメラの融合

画像の劣化や異なる天候条件下でも物体を正確に検出できる能力は、深層学習モデルにとって極めて重要であり、自動運転のような実世界応用において特に不可欠である。従来のRGBベースの検出手法はこうした条件下で性能が著しく低下するため、主なフレームベース検出の失敗に対して冗長性を持つセンサーセットの設計が不可欠となる。イベントベースカメラは、低照度環境や高ダイナミックレンジの状況において、フレームベースカメラの補完として有効に機能し、自動運転車がナビゲーション中に遭遇するような厳しい条件下でも信頼性を維持できる。本研究では、こうした状況下でも堅牢な性能を発揮する、イベントベースカメラとフレームベースカメラの冗長なセンサ融合モデルを提案する。本手法は、イベントデータをボクセルグリッド表現として入力とし、フレームとイベントの両方に対して並列に動作する特徴抽出ネットワークを採用している。公開データセットDSECを用いて訓練・評価した結果、単一のフレームベース検出に比べて30％以上高い耐障害性を示し、単一のイベントベース検出よりも優れた性能を達成した。