HyperAIHyperAI

Command Palette

Search for a command to run...

Entraînement par interpolation multi-objectif pour une robustesse au bruit d'étiquetage

Diego Ortego Eric Arazo Paul Albert Noel E. O&#39 Connor Kevin McGuinness

Résumé

Les réseaux de neurones profonds entraînés avec une fonction de perte classique d'entropie croisée mémorisent les étiquettes bruitées, ce qui dégrade leur performance. La plupart des recherches visant à atténuer cette mémorisation proposent de nouvelles fonctions de perte robustes pour la classification. À l'inverse, nous proposons une approche d'entraînement par interpolation multi-objectifs (MOIT) qui exploite conjointement l'apprentissage contrastif et la classification de manière à ce qu'elles s'aident mutuellement et améliorent la performance en présence de bruit d'étiquettes. Nous montrons que l'apprentissage contrastif supervisé classique se dégrade en présence de bruit d'étiquettes, et proposons une stratégie d'entraînement par interpolation pour atténuer ce comportement. Nous introduisons également une nouvelle méthode de détection du bruit d'étiquettes, exploitant les représentations de caractéristiques robustes apprises via l'apprentissage contrastif afin d'estimer des étiquettes douces par échantillon ; les désaccords entre ces étiquettes douces et les étiquettes originales permettent avec précision d'identifier les échantillons bruités. Cette détection permet de traiter les échantillons bruités comme non étiquetés, et d'entraîner un classificateur de manière semi-supervisée, afin d'éviter la mémorisation du bruit et d'améliorer l'apprentissage des représentations. Nous proposons par ailleurs MOIT+, une amélioration de MOIT par une phase de fine-tuning sur les échantillons propres détectés. Des études sur les hyperparamètres et des analyses d'ablation confirment l'importance des composants clés de notre méthode. Des expériences sur des benchmarks de bruit synthétiques et réels démontrent que MOIT/MOIT+ atteint des résultats de pointe. Le code est disponible à l'adresse https://git.io/JI40X.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp