時空間ピクセルレベル対照学習を用いたソースフリー領域適応による動画セマンティックセグメンテーション

セマンティックセグメンテーションにおける教師なしドメイン適応（Unsupervised Domain Adaptation: UDA）は、ソースドメインのラベル付きデータとターゲットドメインのラベルなしデータの両方へのアクセスを前提として、ソース領域の知識をターゲット領域に転移する手法である。しかし、実世界のシナリオでは、ソースデータへのアクセスが制限されたり、不可能な場合が多く、そのような条件下ではUDAの実用性が著しく低下する。これを解決するため、近年の研究ではソースデータにアクセスせずに、事前に学習されたソースモデルをターゲットドメインに適応させる「ソースフリー・ドメイン適応（Source-Free Domain Adaptation: SFDA）」の枠組みが注目されている。しかし、既存のSFDA手法は適応に画像レベルの情報のみを用いるため、動画処理の文脈では最適な性能を発揮できないという課題がある。本研究では、時間的情報を活用することで動画適応を改善する「動画セマンティックセグメンテーション（Video Semantic Segmentation: VSS）」におけるSFDAを考察する。具体的には、空間時間的領域におけるピクセルレベルの明示的相関を学習する新しい手法である「空間時間的ピクセルレベル対照学習（Spatio-Temporal Pixel-Level, STPL）」を提案する。STPLは、空間時間的領域におけるピクセル間の意味的関係を明示的に学習することで、ラベルなしターゲットドメインへの適応に強力な自己教師信号を提供する。広範な実験により、STPLは現在のUDAおよびSFDA手法と比較して、VSSベンチマークにおいて最先端の性能を達成することが示された。コードは以下のURLで公開されている：https://github.com/shaoyuanlo/STPL