Manifold Mixup: 隠れ状態の補間によるより良い表現

深層ニューラルネットワークは学習データの学習に優れていますが、わずかに異なるテスト例で評価された場合、しばしば誤ったかつ自信過剰な予測を提供します。これは分布シフト、外れ値、および敵対的サンプル（adversarial examples）を含みます。これらの問題に対処するため、私たちはManifold Mixupという単純な正則化手法を提案します。この手法は、隠れ表現の補間に対してより自信を持たないようにニューラルネットワークを促すことで効果を発揮します。Manifold Mixupは意味的な補間を追加の学習信号として利用し、複数の表現レベルにおいて滑らかな決定境界を持つニューラルネットワークを得ることを目指しています。その結果、Manifold Mixupで訓練されたニューラルネットワークはクラス表現において変動方向が少ないものになります。私たちは理想的な条件下でのこの平坦化がなぜ起こるのかについて理論的に証明し、実践的な状況でもこれを検証し、情報理論や汎化に関する先行研究との関連性も示しました。計算量の大幅な増加もなく、数行のコードで実装できるにもかかわらず、Manifold Mixupは教師あり学習における強力なベースラインの改善、一歩攻撃に対する堅牢性の向上、およびテストログ尤度の向上に寄与します。