Entraînement croisé-fusion avec stratégie d'équilibre de classe pour l'apprentissage avec des étiquettes bruitées

La collecte de grands jeux de données entraîne inévitablement des étiquettes bruitées, ce qui provoque une dégradation importante des performances des réseaux de neurones profonds (DNN). Bien que la sélection d’échantillons soit une méthode courante dans le domaine de l’apprentissage avec des étiquettes bruitées — visant à atténuer l’impact de ces étiquettes erronées pendant l’entraînement — les performances sur les données de test de ces approches présentent des fluctuations importantes selon les taux et les types de bruit. Dans cet article, nous proposons un nouveau cadre, appelé Cross-to-Merge Training (C2MT), insensible aux informations a priori dans le processus de sélection d’échantillons, permettant ainsi d’améliorer la robustesse du modèle. En pratique, en utilisant des données d’entraînement divisées de manière croisée, deux réseaux différents sont entraînés de manière itérative selon la stratégie de co-enseignement pendant plusieurs itérations locales, puis fusionnés en un modèle unique en appliquant périodiquement une moyenne fédérée sur les paramètres des deux modèles. Par ailleurs, nous introduisons une nouvelle stratégie d’équilibre de classes, nommée Median Balance Strategy (MBS), appliquée lors du processus de division croisée, qui divise équitablement les données d’entraînement en un sous-ensemble étiqueté et un sous-ensemble non étiqueté, en se basant sur les caractéristiques estimées de la distribution des pertes. Des résultats expérimentaux étendus sur des jeux de données synthétiques et réels démontrent l’efficacité de C2MT. Le code sera disponible à l’adresse : https://github.com/LanXiaoPang613/C2MT.