HyperAIHyperAI

Command Palette

Search for a command to run...

La régularisation d'apprentissage précoce empêche la mémorisation des étiquettes bruitées

Sheng Liu Jonathan Niles-Weed Narges Razavian Carlos Fernandez-Granda

Résumé

Nous proposons un cadre novateur pour effectuer la classification par apprentissage profond en présence d’étiquettes bruitées. Lorsqu’ils sont entraînés sur des étiquettes erronées, les réseaux de neurones profonds ont été observés pour s’ajuster d’abord aux données d’entraînement portant des étiquettes propres durant une phase initiale dite « d’apprentissage précoce », avant de finalement mémoriser les exemples portant des étiquettes fausses. Nous démontrons que l’apprentissage précoce et la mémorisation constituent des phénomènes fondamentaux dans les tâches de classification en haute dimension, même dans des modèles linéaires simples, et fournissons une explication théorique dans ce cadre. Inspirés par ces résultats, nous développons une nouvelle technique pour les tâches de classification avec bruit, exploitant l’évolution de la phase d’apprentissage précoce. Contrairement aux approches existantes, qui utilisent les sorties du modèle pendant l’apprentissage précoce pour détecter les exemples portant des étiquettes propres, puis ignorent ou tentent de corriger les étiquettes erronées, nous adoptons une approche différente en exploitant activement l’apprentissage précoce via une régularisation. Notre méthode repose sur deux éléments clés. Premièrement, nous utilisons des techniques d’apprentissage semi-supervisé pour générer des probabilités cibles à partir des sorties du modèle. Deuxièmement, nous concevons un terme de régularisation qui guide le modèle vers ces cibles, empêchant implicitement la mémorisation des étiquettes fausses. Le cadre résultant s’avère robuste face aux annotations bruitées sur plusieurs benchmarks standards et jeux de données réels, atteignant des performances comparables à l’état de l’art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp