Manifold Mixup : Représentations Améliorées par l'Interpolation des États Cachés

Les réseaux de neurones profonds excellent dans l'apprentissage des données d'entraînement, mais fournissent souvent des prédictions incorrectes et confiantes lorsqu'ils sont évalués sur des exemples de test légèrement différents. Cela inclut les décalages de distribution, les valeurs aberrantes et les exemples adverses. Pour remédier à ces problèmes, nous proposons Manifold Mixup, un régulariseur simple qui encourage les réseaux de neurones à prédire avec moins de confiance sur des interpolations de représentations cachées. Manifold Mixup utilise les interpolations sémantiques comme signal d'entraînement supplémentaire, obtenant ainsi des réseaux de neurones avec des frontières de décision plus lisses à plusieurs niveaux de représentation. En conséquence, les réseaux de neurones formés avec Manifold Mixup apprennent des représentations de classe avec moins de directions de variance. Nous démontrons la théorie expliquant pourquoi ce lissage se produit sous des conditions idéales, la validons dans des situations pratiques et l'établissons en relation avec les travaux précédents sur la théorie de l'information et la généralisation. Malgré le fait qu'il n'entraîne pas une augmentation significative du calcul et qu'il peut être mis en œuvre en quelques lignes de code, Manifold Mixup améliore les bases solides dans l'apprentissage supervisé, la robustesse aux attaques adverses en un seul pas et la vraisemblance logarithmique au test.