マルチスペクトル融合による物体検出におけるサイクリック融合および精緻化ブロック

マルチスペクトル画像（可視光と赤外線など）は、異なる環境（例えば、昼間や夜間の屋外シーン）で同じモデルの物体を検出する際に特に有用である。異なるスペクトルを効果的に活用するためには、主な技術的な課題が情報融合プロセスにある。本論文では、ニューラルネットワーク向けの中間特徴量融合法を提案し、マルチスペクトル特徴量に存在する補完性/一貫性バランスを活用するために、ネットワークアーキテクチャに周期的に各スペクトル特徴量を融合・精緻化する特別なモジュールを追加している。我々は、提案した融合法の有効性を2つの難易度の高いマルチスペクトルデータセットにおける物体検出タスクで評価した。結果は、任意のネットワークに我々のサイクリック・フューズ・アンド・リファインモジュールを実装することで、他の最先端のマルチスペクトル物体検出手法と比較して両方のデータセットでの性能が向上することを示している。