対象認識型デュアル adversarial 学習と、赤外線および可視画像の融合を目的としたマルチシナリオ・マルチモダリティベンチマーク

本研究は、物体検出において赤外線画像と可視画像が異なる特徴を示す問題に取り組む。高視認性の画像を生成することを目的とした従来のアプローチは、両モダリティに共通する構造を発見し、反復最適化または深層ネットワークを用いて共通空間上で融合を行う。しかし、これらの手法は、モダリティ間の相違が融合およびその後の検出タスクにおいて極めて重要な補完的情報を含んでいるという点を無視している。本論文では、融合と検出の連合問題を二段階最適化形式として定式化し、これを展開して、ターゲットに配慮した二重対抗学習（TarDAL）ネットワークを融合用に、一般的に用いられる検出ネットワークを用いるアーキテクチャを提案する。融合ネットワークは1つの生成器と二重の識別器を備え、共通点を学習しつつ差異からも学ぶことで、赤外線画像から得られるターゲットの構造情報を保持しつつ、可視画像からのテクスチャ細部を維持する。さらに、校正済みの赤外線センサと光学センサを備えた同期撮像システムを構築し、広範なシナリオをカバーする現在最も包括的なベンチマークデータセットを収集している。複数の公開データセットおよび自ら構築したベンチマーク上での広範な実験により、本手法が視覚的に魅力的な融合画像を生成するだけでなく、最先端手法を上回る検出mAPを達成することが実証された。