すべてのラベルが等価であるわけではない：ラベルグループ化とコートレーニングを活用した半教師付き学習の強化

擬似ラベル化（pseudo-labeling）は、半教師あり学習（semi-supervised learning, SSL）における重要な要素である。これは、モデルを反復的に用いて未ラベルデータに対して人工的なラベルを生成し、それらを用いて学習を行う手法である。この手法の多数のアプローチには共通する性質として、クラス間の視覚的類似性に関する事前知識を一切考慮せずに、モデルの予測結果のみに基づいてラベル付けを決定する点がある。本論文では、このアプローチが、擬似ラベルデータのプールにおいて視覚的に類似したクラスを適切に表現できず、結果として擬似ラベルの品質が低下することを示す。そこで、ラベルの意味的構造とコトレーニング（co-training）を活用する新しい手法、SemCoを提案する。本手法では、クラスラベルの異なる2つの視点に基づいて2つの分類器を訓練する。一方の分類器は、ラベルをワンホット表現（one-hot view）として扱い、クラス間の潜在的な類似性を無視する。他方の分類器は、ラベルを分散表現（distributed view）として扱い、類似する可能性のあるクラスをグループ化する。その後、2つの分類器をコトレーニングにより、互いの不一致（disagreement）に基づいて学習させる。実験の結果、本手法はMini-ImageNetデータセットにおいてラベル付きサンプルが1000個の条件下で、5.6%の精度向上を達成し、さまざまなSSLタスクにおいて最先端の性能を示した。さらに、最適な性能に到達するためのバッチサイズが小さく、学習反復回数も少ないことを示した。本研究の実装コードは、https://github.com/islam-nassar/semco にて公開している。