Apprentissage robuste de modèle guidé par priorité d’échantillonnage pour supprimer les étiquettes bruitées

Les étiquettes imparfaites sont omniprésentes dans les jeux de données du monde réel et nuisent sérieusement à la performance des modèles. Plusieurs méthodes récentes efficaces pour traiter les étiquettes bruyantes reposent sur deux étapes clés : 1) partitionner les échantillons en ensembles correctement étiquetés et mal étiquetés à partir de la perte d'entraînement, et 2) utiliser des méthodes semi-supervisées pour générer des pseudo-étiquettes pour les échantillons de l'ensemble mal étiqueté. Toutefois, les méthodes actuelles nuisent fréquemment aux échantillons informatifs difficiles, en raison de la similarité de la distribution de la perte entre ces derniers et les échantillons bruyants. Dans cet article, nous proposons PGDF (Prior Guided Denoising Framework), un cadre novateur permettant d’apprendre un modèle profond afin de supprimer le bruit en générant des connaissances a priori sur les échantillons, intégrées à la fois à l’étape de partitionnement et à l’étape semi-supervisée. Notre cadre permet de préserver davantage les échantillons propres difficiles, qui sont informatifs, dans l’ensemble correctement étiqueté. Par ailleurs, il améliore également la qualité des pseudo-étiquettes lors de l’étape semi-supervisée en supprimant le bruit dans le processus actuel de génération des pseudo-étiquettes. Pour renforcer davantage les échantillons difficiles, nous réévaluons les poids des échantillons de l’ensemble correctement étiqueté pendant l’entraînement. Nous avons évalué notre méthode sur des jeux de données synthétiques basés sur CIFAR-10 et CIFAR-100, ainsi que sur des jeux de données du monde réel tels que WebVision et Clothing1M. Les résultats démontrent des améliorations substantielles par rapport aux méthodes de pointe.