要約
本論文では、訓練データのうち僅かな部分のみがラベル付けされている半教師付き設定における深層ニューラルネットワークの訓練方法について、単純かつ効率的な手法を提案します。私たちは自己アンサンブル(self-ensembling)を導入し、異なるエポックでの訓練中のネットワークの出力を用いて未知のラベルに対する合意予測を形成します。特に重要なのは、異なる正則化と入力拡張条件の下で行われることです。このアンサンブル予測は、最新の訓練エポックでのネットワークの出力よりも未知のラベルに対してより良い予測器となることが期待され、したがって訓練の目標として使用することができます。私たちの手法を使用して、2つの標準的な半教師付き学習ベンチマークにおいて新しい記録を樹立しました。SVHNにおいて500ラベルを使用した場合、（非拡張）分類誤差率を18.44%から7.05%に低減しました。CIFAR-10において4000ラベルを使用した場合、分類誤差率を18.63%から16.55%に低減しました。さらに標準的な拡張を有効にすることで、それぞれ5.12%と12.16%まで改善しました。また、Tiny Imagesデータセットからのランダムな画像を訓練中に未ラベル追加入力として使用することで、CIFAR-100の分類精度にも明確な向上が見られました。最後に、誤ったラベルに対する高い耐性も示しています。