HyperAIHyperAI

Command Palette

Search for a command to run...

Contrairement à Diviser : Pré-entraînement Auto-supervisé pour l'Apprentissage avec des Étiquettes Bruyantes

Evgenii Zheltonozhskii Chaim Baskin Avi Mendelson Alex M. Bronstein Or Litany

Résumé

Le succès des méthodes d'apprentissage avec des étiquettes bruitées (LNL) repose fortement sur l'efficacité d'une phase d'initialisation (warm-up), durant laquelle une entraînement supervisé standard est effectué sur l'ensemble d'entraînement complet (bruité). Dans cet article, nous identifions un « obstacle d'initialisation » : la difficulté des phases d'initialisation classiques à entraîner des extracteurs de caractéristiques de haute qualité et à éviter la mémorisation des étiquettes erronées. Nous proposons un cadre simple appelé « Contraste pour Diviser » (C2D), qui résout ce problème en pré-entraînant l'extracteur de caractéristiques de manière auto-supervisée. Ce pré-entraînement auto-supervisé améliore considérablement les performances des méthodes LNL existantes en réduisant fortement la sensibilité de la phase d'initialisation au niveau de bruit, en raccourcissant sa durée et en améliorant la qualité des caractéristiques extraites. Le cadre C2D est directement compatible avec les méthodes existantes et montre une amélioration marquée des performances, en particulier dans les régimes à fort bruit, où nous obtenons une amélioration de plus de 27 % sur CIFAR-100 avec 90 % de bruit par rapport à l’état de l’art précédent. Dans des scénarios réels de bruit, C2D entraîné sur mini-WebVision dépasse les travaux antérieurs de 3 % en précision top-1 sur les ensembles de validation WebVision et ImageNet. Nous menons une analyse approfondie du cadre, incluant une étude comparative des différentes approches de pré-entraînement et une estimation de la borne supérieure effective des performances LNL dans un cadre semi-supervisé. Le code permettant de reproduire nos expériences est disponible à l’adresse suivante : https://github.com/ContrastToDivide/C2D


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp