HyperAIHyperAI

Command Palette

Search for a command to run...

Lissage ou pas ? Lorsque le lissage des étiquettes rencontre les étiquettes bruyantes

Jiaheng Wei Hangyu Liu Tongliang Liu Gang Niu Masashi Sugiyama Yang Liu

Résumé

Le lissage des étiquettes (Label Smoothing, LS) est un paradigme d’apprentissage émergent qui utilise une moyenne pondérée positive à la fois des étiquettes d’entraînement rigides (hard labels) et des étiquettes douces uniformément distribuées. Il a été démontré que le LS agit comme un régularisateur pour les données d’entraînement comportant des étiquettes rigides, améliorant ainsi la généralisation du modèle. Par la suite, il a été rapporté que le LS contribue également à améliorer la robustesse lors de l’apprentissage avec des étiquettes bruitées. Toutefois, nous avons observé que l’avantage du LS disparaît dans un régime de bruit d’étiquettes élevé. Intuitivement, cela s’explique par l’augmentation de l’entropie de P(eˊtiquette bruiteˊeX)\mathbb{P}(\text{étiquette bruitée}|X)P(eˊtiquette bruiteˊeX) lorsque le taux de bruit est élevé : dans ce cas, l’application supplémentaire du LS tend à « sur-lisser » la postérieure estimée. Nous avons ensuite découvert que plusieurs approches existantes pour l’apprentissage avec des étiquettes bruitées dans la littérature sont en réalité plus proches du lissage négatif ou non-lissage des étiquettes (Negative Label Smoothing, NLS), qui agit en sens inverse du LS et consiste à combiner les étiquettes dures et douces avec un poids négatif ! Nous fournissons une compréhension des propriétés du LS et du NLS dans le contexte de l’apprentissage avec des étiquettes bruitées. Parmi d’autres propriétés établies, nous montrons théoriquement que le NLS est particulièrement avantageux lorsque les taux de bruit d’étiquettes sont élevés. Nous soutenons également nos résultats par des expérimentations étendues sur plusieurs benchmarks. Le code est disponible publiquement à l’adresse suivante : https://github.com/UCSC-REAL/negative-label-smoothing.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp