仮想敵対訓練：教師あり学習および半教師あり学習の正則化手法

私たちは、入力に対する条件付きラベル分布の局所的な滑らかさを測定する新しい方法である仮想敵対損失に基づく新たな正則化手法を提案します。仮想敵対損失は、各入力データポイント周りでの局所的な摂動に対する条件付きラベル分布の堅牢性を定義します。敵対的訓練とは異なり、私たちの手法はラベル情報なしで敵対的方向を定義するため、半教師あり学習に適用可能です。モデルが滑らかにする方向が「仮想的に」のみ敵対的であるため、この手法を仮想敵対訓練（Virtual Adversarial Training, VAT）と呼びます。VATの計算コストは比較的低く、ニューラルネットワークの場合、仮想敵対損失の近似勾配は最大でも2組の順伝播と逆伝播によって計算できます。実験では、複数のベンチマークデータセット上で監督学習および半教師あり学習タスクにVATを適用しました。エントロピー最小化原理に基づくアルゴリズムの単純な強化により、SVHNおよびCIFAR-10における半教師あり学習タスクにおいて最先端の性能を達成しています。