要約
悪天候や低照度条件下では、単一のセンサーでは物体の識別に必要な情報を十分に取得できない場合がある。従来の光学画像と比較して、合成開口レーダー（SAR）画像は、霧や煙を透過できるといった優位性を持つ。しかし、SAR画像は解像度が低く、高レベルのスパックルノイズに汚染されているため、強力かつ頑健な特徴を抽出することが極めて困難である。本論文では、複数の画像モダリティを用いることで物体検出性能の向上が可能かどうかを検討した。そこで、物体分類タスクに対応するため、2つの異なるネットワーク構造、すなわちCMKD-sおよびCMKD-mを提案する。具体的には、CMKD-sはオンライン知識蒸留を用いて2つのセンサーが捉えた情報を相互に転送することで、マルチモーダルな知識共有を実現し、空中視点における物体分類モデルの堅牢性を向上させる。さらに、半教師あり強化学習を活用し、相互知識転送を強化する新たな手法であるCMKD-mを提案した。定量的な比較の結果、NTIRE2021 SAR-EOチャレンジデータセットにおいて、知識転送を実施しない手法と比較して、CMKD-sおよびCMKD-mが優れた性能を示した。