Command Palette
Search for a command to run...
mixup: 経験的リスク最小化を超えて
mixup: 経験的リスク最小化を超えて
Hongyi Zhang; Moustapha Cisse; Yann N. Dauphin; David Lopez-Paz
概要
大規模な深層ニューラルネットワークは強力ですが、記憶化や敵対的例に対する感度などの望ましくない挙動を示します。本研究では、これらの問題を緩和するための単純な学習原理であるmixupを提案します。本質的に、mixupは例とそのラベルのペアの凸結合でニューラルネットワークを訓練します。これにより、mixupはニューラルネットワークが訓練例の間で単純な線形挙動を好むように正則化します。ImageNet-2012、CIFAR-10、CIFAR-100、Google Commands、UCIデータセットでの実験結果から、mixupが最先端のニューラルネットワークアーキテクチャの汎化性能を向上させることを示しています。また、mixupが破損したラベルの記憶化を減らし、敵対的例に対する堅牢性を高め、生成敵対ネットワーク(Generative Adversarial Networks, GAN)の訓練を安定させることが確認できました。