HyperAIHyperAI

Command Palette

Search for a command to run...

Entraînement croisé-fusion avec stratégie d'équilibre de classe pour l'apprentissage avec des étiquettes bruitées

Qiu Chen YingWen Zhu Ge Jin Ming Yang Yi Zhu Qian Zhang

Résumé

La collecte de grands jeux de données entraîne inévitablement des étiquettes bruitées, ce qui provoque une dégradation importante des performances des réseaux de neurones profonds (DNN). Bien que la sélection d’échantillons soit une méthode courante dans le domaine de l’apprentissage avec des étiquettes bruitées — visant à atténuer l’impact de ces étiquettes erronées pendant l’entraînement — les performances sur les données de test de ces approches présentent des fluctuations importantes selon les taux et les types de bruit. Dans cet article, nous proposons un nouveau cadre, appelé Cross-to-Merge Training (C2MT), insensible aux informations a priori dans le processus de sélection d’échantillons, permettant ainsi d’améliorer la robustesse du modèle. En pratique, en utilisant des données d’entraînement divisées de manière croisée, deux réseaux différents sont entraînés de manière itérative selon la stratégie de co-enseignement pendant plusieurs itérations locales, puis fusionnés en un modèle unique en appliquant périodiquement une moyenne fédérée sur les paramètres des deux modèles. Par ailleurs, nous introduisons une nouvelle stratégie d’équilibre de classes, nommée Median Balance Strategy (MBS), appliquée lors du processus de division croisée, qui divise équitablement les données d’entraînement en un sous-ensemble étiqueté et un sous-ensemble non étiqueté, en se basant sur les caractéristiques estimées de la distribution des pertes. Des résultats expérimentaux étendus sur des jeux de données synthétiques et réels démontrent l’efficacité de C2MT. Le code sera disponible à l’adresse : https://github.com/LanXiaoPang613/C2MT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp