ドローンベースのRGB赤外線クロスモダリティ車両検出：不確実性を意識した学習による実現

ドローンを用いた車両検出は、空中画像における車両の位置および分類を特定することを目的としており、スマートシティの交通管理や災害救助において重要な役割を果たす。研究者たちはこの分野に多大な努力を重ね、顕著な進展を遂げてきた。しかし、特に低照度条件下では物体の識別が困難な状況が依然として課題である。この問題に対処するため、本研究では大規模なドローンベースのRGB-赤外線画像を用いた車両検出データセット「DroneVehicle」を構築した。DroneVehicleは、都市部の道路、住宅地、駐車場など、昼夜を問わず多様なシーンをカバーする28,439組のRGB-赤外線画像ペアを収集している。RGB画像と赤外線画像の間には顕著な違いがあるため、マルチモーダル画像からは有効な情報と冗長な情報の両方が得られる。このようなジレンマに対処するため、本研究では、マルチモーダル画像から補完的な情報を効果的に抽出できる「不確実性を意識したクロスモダリティ車両検出フレームワーク（UA-CMDet）」を提案する。このフレームワークには、各モーダルの不確実性重みを定量的に評価する「不確実性を意識したモジュール（UAM）」が導入されており、その重みはクロスモーダルな交差領域率（IoU）とRGBの照度値に基づいて計算される。さらに、推論フェーズにおいてモーダル固有の情報をより適切に統合するため、照度に応じたクロスモーダル非最大抑制アルゴリズムを設計した。DroneVehicleデータセットを用いた広範な実験により、本手法がクロスモーダル車両検出において高い柔軟性と有効性を示したことが確認された。本データセットは、https://github.com/VisDrone/DroneVehicle からダウンロード可能である。