HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage précoce robuste : entraver la memorisation des étiquettes bruitées

Yi Chang ZongYuan Ge Nannan Wang Chen Gong Bo Han Tongliang Liu Xiaobo Xia

Résumé

Les effets de memorization des réseaux profonds montrent qu’ils mémorisent d’abord les données d’entraînement étiquetées proprement, puis celles comportant des étiquettes bruitées. La méthode d’early stopping peut donc être exploitée pour l’apprentissage en présence de labels bruités. Toutefois, les effets secondaires dus aux étiquettes bruyantes influencent la mémorisation des étiquettes propres avant l’arrêt prématuré. Dans ce papier, motivés par l’hypothèse du lottery ticket, qui indique que seules certaines parties des paramètres sont essentielles à la généralisation, nous constatons que seules certaines parties des paramètres sont cruciales pour ajuster les étiquettes propres et généraliser efficacement — que nous désignons comme paramètres critiques — tandis que les autres paramètres ont tendance à s’ajuster aux étiquettes bruyées et ne généralisent pas bien, ce que nous appelons paramètres non critiques. À partir de cette observation, nous proposons une méthode appelée robust early-learning, visant à réduire l’effet secondaire des étiquettes bruyées avant l’arrêt prématuré, afin d’améliorer la mémorisation des étiquettes propres. Plus précisément, à chaque itération, nous divisons tous les paramètres en deux catégories — critiques et non critiques — et appliquons des règles de mise à jour distinctes selon leur type. Des expériences étendues sur des jeux de données standards simulés et des jeux de données réels à étiquettes bruitées démontrent l’efficacité supérieure de la méthode proposée par rapport aux méthodes d’apprentissage les plus avancées en présence de labels bruités.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage précoce robuste : entraver la memorisation des étiquettes bruitées | Articles | HyperAI