RGB-X オブジェクト検出におけるシーン特異的融合モジュールを用いた手法

マルチモーダル深層センサ融合は、自動車がすべての天候条件下で周囲環境を視覚的に理解する可能性を秘めています。しかし、既存の深層センサ融合手法は通常、複雑なアーキテクチャと混在したマルチモーダル特徴量を使用しており、訓練のために大規模なコアレジストレーションされたマルチモーダルデータセットが必要です。本研究では、効率的かつモジュール式のRGB-X融合ネットワークを提案します。このネットワークはシーン固有の融合モジュールを通じて事前学習された単一モーダルモデルを活用し、融合することで、小規模なコアレジストレーションされたマルチモーダルデータセットを使用して共同入力適応型ネットワークアーキテクチャを作成することが可能となります。我々の実験結果は、RGB-熱画像およびRGB-ゲートドデータセットにおいて既存手法よりも優れた性能を示しており、追加パラメータを僅かに使用することで融合を行っています。当該コードは https://github.com/dsriaditya999/RGBXFusion で公開されています。