16日前

確率的対照学習によるドメイン適応

Junjie Li, Yixin Zhang, Zilei Wang, Saihui Hou, Keyu Tu, Man Zhang
確率的対照学習によるドメイン適応
要約

対照学習(contrastive learning)は、自己教師付きの枠組みにおいて、様々な視覚タスクにおける特徴の識別能を向上させる点で顕著な成果を上げている。しかし、標準的な対照学習パラダイム(特徴量+$\ell_{2}$正規化)は、ドメイン適応(domain adaptation)への適用においては限界がある。本研究では、この現象の主な原因が、ドメイン適応の最適化プロセスにおいてクラス重み(最終層の全結合層の重み)が無視されていることにあると明らかにした。このため、特徴量が対応するクラス重みの周囲に凝集しにくくなる。この問題を解決するため、我々は「シンプルだが強力な」確率的対照学習(Probabilistic Contrastive Learning, PCL)を提案する。PCLは、標準的なパラダイムを越えるものとして、$\ell_{2}$正規化を除去し、特徴量の代わりに確率分布を用いる。これにより、確率分布が1-hot(one-hot)配置へと導かれるように制御でき、特徴量とクラス重みの乖離を最小化することが可能となる。広範な実験を通じてPCLの有効性を検証した結果、5つのタスク(無教師/半教師付きドメイン適応(UDA/SSDA)、半教師付き学習(SSL)、UDA検出、セマンティックセグメンテーション)において一貫した性能向上が観察された。特にSYNTHIAデータセットにおけるUDAセマンティックセグメンテーションでは、PCLは複雑なCPSL-Dよりも平均IoUで2%以上優れており、学習コストも大幅に低減されている(PCL:1×3090、5日間 vs. CPSL-D:4×V100、11日間)。コードは https://github.com/ljjcoder/Probabilistic-Contrastive-Learning にて公開されている。

確率的対照学習によるドメイン適応 | 最新論文 | HyperAI超神経