2ヶ月前

半教師あり学習のための補間一貫性訓練

Vikas Verma; Kenji Kawaguchi; Alex Lamb; Juho Kannala; Arno Solin; Yoshua Bengio; David Lopez-Paz
半教師あり学習のための補間一貫性訓練
要約

私たちは、半教師付き学習のパラダイムで深層ニューラルネットワークを訓練するための単純かつ計算効率の高いアルゴリズムである補間一貫性訓練(Interpolation Consistency Training: ICT)を紹介します。ICTは、ラベルなしデータ点の補間における予測が、それらのデータ点での予測の補間と一致することを促進します。分類問題において、ICTはデータ分布の低密度領域に決定境界を移動させます。私たちの実験では、CIFAR-10およびSVHNベンチマークデータセットに対して標準的なニューラルネットワークアーキテクチャにICTを適用した場合、最先端の性能が達成されることを示しています。理論的な分析では、ICTは高信頼度値のもとでラベル付きデータへの過学習を軽減する、ある種のデータ適応型正則化(data-adaptive regularization)に対応していることを示しています。