リムーブ then セレクション：RGB赤外線オブジェクト検出のためのコアス・トゥ・ファイン融合の視点

近年、可視光（RGB）画像と熱赤外線（IR）画像の両方を活用した物体検出技術は広範な注目を集めており、多様な分野に広く応用されている。RGB画像とIR画像の相補的な特性を活用することで、昼間から夜間まで多様な照明条件下でも、信頼性の高いかつ堅牢な物体位置推定が可能となる。しかし、既存の多数のマルチモーダル物体検出手法は、RGB画像とIR画像をそのまま深層ニューラルネットワークに直接入力するため、検出性能が劣ることが多い。本研究では、この問題は、マルチモーダル情報の効果的な統合における課題に加えて、RGBおよびIRの両モダリティに存在する冗長な特徴量が原因であると考えている。各モダリティに含まれる冗長情報は、特徴量の融合プロセスにおける不正確さを悪化させる。この課題に対処するため、人間の脳がマルチモーダル情報を処理するメカニズムに着想を得て、粗い段階から細かい段階へと特徴量を精製・融合する新しい「粗から細へのアプローチ」を提案する。具体的には、このアプローチに基づき、各モダリティ内に含まれる干渉情報を粗く除去する「冗長スペクトル除去モジュール」と、融合に適した特徴量を細かく選択する「動的特徴選択モジュール」を設計した。この粗から細への融合戦略の有効性を検証するため、新たな物体検出器「除去して選択する検出器（Removal then Selection Detector: RSDet）」を構築した。RGB-IR物体検出データセット3種類における広範な実験により、本手法の優れた性能が実証された。