HyperAIHyperAI

Command Palette

Search for a command to run...

DivideMix : Apprentissage avec des étiquettes bruitées comme un apprentissage semi-supervisé

Junnan Li Richard Socher Steven C.H. Hoi

Résumé

Les réseaux de neurones profonds sont connus pour leur forte dépendance aux annotations. De nombreux efforts ont été déployés afin de réduire les coûts d’annotation lors de l’apprentissage avec ces réseaux. Deux approches majeures s’imposent : l’apprentissage avec des étiquettes bruitées et l’apprentissage semi-supervisé en exploitant les données non étiquetées. Dans ce travail, nous proposons DivideMix, un cadre novateur pour l’apprentissage avec des étiquettes bruitées en s’appuyant sur des techniques d’apprentissage semi-supervisé. Plus précisément, DivideMix modélise la distribution de perte par échantillon à l’aide d’un modèle de mélange afin de diviser dynamiquement les données d’entraînement en un ensemble étiqueté composé d’échantillons propres et un ensemble non étiqueté composé d’échantillons bruités, puis entraîne le modèle de manière semi-supervisée sur les deux ensembles. Pour éviter le biais de confirmation, nous entraînons simultanément deux réseaux divergents, chacun utilisant la division du jeu de données fournie par l’autre réseau. Pendant la phase d’apprentissage semi-supervisé, nous améliorons la stratégie MixMatch en appliquant une révision mutuelle des étiquettes sur les échantillons étiquetés et une prédiction mutuelle des étiquettes sur les échantillons non étiquetés. Des expériences menées sur plusieurs jeux de données standards montrent des améliorations significatives par rapport aux méthodes de pointe. Le code est disponible à l’adresse suivante : https://github.com/LiJunnan1992/DivideMix.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp