FlexMatch：カリキュラム疑似ラベルを用いた半教師付き学習の強化

最近提案されたFixMatchは、多数の半教師あり学習（SSL）ベンチマークにおいて最先端の性能を達成している。しかし、他の現代的なSSLアルゴリズムと同様に、FixMatchはすべてのクラスに対して事前に定義された定数閾値を用いてラベルなしデータを選択するため、各クラスの学習状態や学習の難易度の違いを考慮できていない。この問題を解決するために、本研究ではモデルの学習状態に応じてラベルなしデータを有効に活用するカリキュラム学習アプローチである「カリキュラム仮ラベル付け（Curriculum Pseudo Labeling, CPL）」を提案する。CPLの核心は、各時刻におけるクラスごとの学習状況に応じて閾値を柔軟に調整し、情報量の多いラベルなしデータとその仮ラベルを適切に通過させることである。CPLは追加のパラメータや計算（順伝播・逆伝播）を導入しない。本手法をFixMatchに適用し、改良版アルゴリズムとして「FlexMatch」を構築した。FlexMatchは、さまざまなSSLベンチマークにおいて最先端の性能を達成しており、特にラベル付きデータが極めて限られた状況や、タスクが困難な場合に顕著な優位性を発揮する。例えば、CIFAR-100およびSTL-10データセットにおいて、クラスあたりラベルが4つしかない条件下で、FlexMatchはFixMatchに対してそれぞれ13.96%および18.96%の誤差率低減を達成している。また、CPLは収束速度を顕著に向上させ、FlexMatchはFixMatchの1/5の学習時間で、さらに優れた性能を達成可能である。さらに、CPLが他のSSLアルゴリズムにも容易に適用可能であり、それらの性能を著しく向上させることを示した。本研究のコードは、https://github.com/TorchSSL/TorchSSL にてオープンソースとして公開している。