要約
大規模なRGB画像データセットで学習された深層モデルは、著しい成果を上げている。こうした深層モデルを実世界の問題に応用することは重要であるが、照明条件の変化に対しては性能のボトルネックを抱えている。一方、熱赤外（Thermal IR）カメラはこのような照明変化に対してよりロバストであるため、実世界の課題解決において非常に有用である。可視光スペクトルと熱画像モダリティの両方の豊富な特徴を活かす効果を検証するため、RGB画像と熱画像のペアデータを必要としない非教師付きドメイン適応手法を提案する。本手法では、大規模なRGBデータセットMS-COCOをソースドメイン、熱画像データセットFLIR ADASをターゲットドメインとして用い、提案手法の有効性を実証する。 adversarialドメイン適応手法は、ソースドメインとターゲットドメインの分布を一致させることを目的としているが、単に分布を一致させただけでは、ターゲットドメインへの完全な一般化を保証できない。この課題に対処するため、adversarialドメイン適応手法の一般化能力を向上させるために、自己学習（self-training）を導入したアプローチを提案する。自己学習では、ターゲットの熱画像ドメインのサンプルに疑似ラベル（pseudo labels）を付与し、ターゲットドメイン向けのより汎化性の高い表現を学習する。広範な実験的分析の結果、提案手法は最先端のadversarialドメイン適応手法を上回る性能を達成することが示された。本研究のコードおよびモデルは公開されている。