Dual Student: 半教師付き学習における教師の限界を打破する

最近、一貫性ベースの手法が半教師付き学習（Semi-Supervised Learning: SSL）において最先端の結果を達成しています。これらの手法は常に2つの役割、明示的または暗黙的な教師モデルと学生モデルを含み、異なる摂動に対する予測を一貫性制約によって罰則化します。しかし、これらの2つの役割の重みは緊密に結合されており、教師は本質的に学生の指数移動平均（Exponential Moving Average: EMA）です。本研究では、結合されたEMA教師が性能ボトルネックとなることを示します。この問題に対処するために、Dual Studentという新たなアプローチを導入し、教師を別の学生で置き換えます。また、当該構造が学習可能となるように設計された新しい概念である安定サンプル（stable sample）について定義し、それに基づいて安定化制約を設定します。さらに、当方法の2つの変種について議論し、それらがさらなる高性能を達成することを示します。広範な実験により、当方法が主要なSSLベンチマークにおいて分類性能を大幅に向上させることを確認しました。具体的には、CIFAR-10データセットで1kラベルを使用する場合、13層CNNの誤り率が16.84%から12.39%に低下し、CIFAR-100データセットで10kラベルを使用する場合も34.10%から31.56%に改善しました。加えて、当方法はドメイン適応においても明確な性能向上を達成しています。