対照正則化を用いた半教師付き学習

ラベル予測に対する一貫性正則化は、半教師付き学習における基本的な技術として広く用いられているが、高い性能を達成するためには依然として多数の学習反復が必要である。本研究では、一貫性正則化が、信頼度の低い偽ラベルを持つサンプルをモデル更新から除外するため、ラベル情報の伝播を制限していることを見出した。その後、未ラベルデータの特徴量が良好にクラスタリングされることを活かして、一貫性正則化の効率性と精度を向上させるための対照的正則化（contrastive regularization）を提案する。具体的には、強化されたサンプルが偽ラベルに基づいてクラスタに割り当てられた後、本手法はモデルを更新する際、信頼度の高い偽ラベルを持つ特徴量が同一クラスタ内の特徴量に集約されるよう促し、異なるクラスタの特徴量とは距離を離すようにする。その結果、良好にクラスタリングされた特徴量を介して、信頼度の高い偽ラベルの情報がより多くの未ラベルサンプルに効果的に伝播される。半教師付き学習タスクの標準ベンチマークにおいて、本手法は従来の一貫性ベースの手法を上回り、特に少ない学習反復回数でも最先端の性能を達成した。また、分布外のサンプルを含む未ラベルデータを扱うオープンセット半教師付き学習においても、本手法は堅牢な性能を示した。