要約
本論文では、インスタンス単位の対比学習（instance-wise contrastive learning）の根本的な限界を克服するための教師なし表現学習手法である「プロトタイプ対比学習（Prototypical Contrastive Learning, PCL）」を提案する。PCLは、インスタンス識別というタスクに適した低レベル特徴を学習するだけでなく、より重要な点として、学習された埋め込み空間にデータの意味構造を暗黙的に符号化することを可能にする。具体的には、期待値最大化（Expectation-Maximization, EM）フレームワークにおいて、ネットワークパラメータの最尤推定を助けるため、プロトタイプを潜在変数として導入する。この手法では、Eステップとしてクラスタリングによりプロトタイプの分布を推定し、Mステップとして対比学習によりネットワークを最適化するという反復的手順を実行する。さらに、対比学習におけるInfoNCE損失の一般化版である「ProtoNCE損失」を提案し、表現が割り当てられたプロトタイプに近づくように促進する。PCLは、複数のベンチマークにおいて最先端のインスタンス単位対比学習手法を上回り、リソースが限られた転移学習環境において顕著な性能向上を達成した。コードおよび事前学習済みモデルは、https://github.com/salesforce/PCL にて公開されている。