HyperAIHyperAI

Command Palette

Search for a command to run...

Manifold Mixup : Représentations Améliorées par l'Interpolation des États Cachés

Vikas Verma* † Alex Lamb* Christopher Beckham Amir Najafi Ioannis Mitliagkas Aaron Courville David Lopez-Paz Yoshua Bengio

Résumé

Les réseaux de neurones profonds excellent dans l'apprentissage des données d'entraînement, mais fournissent souvent des prédictions incorrectes et confiantes lorsqu'ils sont évalués sur des exemples de test légèrement différents. Cela inclut les décalages de distribution, les valeurs aberrantes et les exemples adverses. Pour remédier à ces problèmes, nous proposons Manifold Mixup, un régulariseur simple qui encourage les réseaux de neurones à prédire avec moins de confiance sur des interpolations de représentations cachées. Manifold Mixup utilise les interpolations sémantiques comme signal d'entraînement supplémentaire, obtenant ainsi des réseaux de neurones avec des frontières de décision plus lisses à plusieurs niveaux de représentation. En conséquence, les réseaux de neurones formés avec Manifold Mixup apprennent des représentations de classe avec moins de directions de variance. Nous démontrons la théorie expliquant pourquoi ce lissage se produit sous des conditions idéales, la validons dans des situations pratiques et l'établissons en relation avec les travaux précédents sur la théorie de l'information et la généralisation. Malgré le fait qu'il n'entraîne pas une augmentation significative du calcul et qu'il peut être mis en œuvre en quelques lignes de code, Manifold Mixup améliore les bases solides dans l'apprentissage supervisé, la robustesse aux attaques adverses en un seul pas et la vraisemblance logarithmique au test.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp