要約
最近、半教師あり学習（Semi-Supervised Learning, SSL）は、極めて少ないラベルを用いながらも未ラベルデータを有効活用する可能性を示しており、注目を集めている。本論文では、学習過程において一時的に全エポックにわたりラベルを完全に無視する戦略が、少量ラベル環境下での性能向上に顕著な効果をもたらすことを示す。具体的には、二つのタスクを同時に学習する手法を提案する。主タスクとしての分類タスクは、ラベル付きデータとラベルが極めて限られたデータの両方にさらされる一方、副タスクはラベルなしでデータをクラスタリングすることを目的とする。従来の自己教師学習でよく用いられる手動設計の事前タスクとは異なり、本手法のクラスタリングフェーズでは、分類タスクに使用する同一のネットワークとヘッドを再利用することで、主タスクの負荷を軽減し、ラベル情報の過剰適合（オーバーフィッティング）を避けつつ、有用な情報を効果的に伝達する。さらに、無教師学習フェーズにおいて、画像の回転分類という自己教師学習手法を導入することで、学習の安定性を向上させている。本手法は、複数の最先端SSLアルゴリズムに対して効果を発揮し、さまざまな標準的な半教師ありベンチマークにおいて、性能の大幅な向上と実行時間の短縮を実現した。特に、CIFAR-10では1クラスあたり4ラベルのみを用いて92.6％の精度、SVHNでは96.9％の精度を達成した。また、1、2、3ラベル／クラスという極端な少数ラベル状況においても顕著な性能向上が見られ、本モデルが学習する特徴量がデータの分離により意味のあるものであることを示している。