Command Palette
Search for a command to run...
Apprentissage précoce robuste : entraver la memorisation des étiquettes bruitées
Apprentissage précoce robuste : entraver la memorisation des étiquettes bruitées
Yi Chang ZongYuan Ge Nannan Wang Chen Gong Bo Han Tongliang Liu Xiaobo Xia
Résumé
Les effets de memorization des réseaux profonds montrent qu’ils mémorisent d’abord les données d’entraînement étiquetées proprement, puis celles comportant des étiquettes bruitées. La méthode d’early stopping peut donc être exploitée pour l’apprentissage en présence de labels bruités. Toutefois, les effets secondaires dus aux étiquettes bruyantes influencent la mémorisation des étiquettes propres avant l’arrêt prématuré. Dans ce papier, motivés par l’hypothèse du lottery ticket, qui indique que seules certaines parties des paramètres sont essentielles à la généralisation, nous constatons que seules certaines parties des paramètres sont cruciales pour ajuster les étiquettes propres et généraliser efficacement — que nous désignons comme paramètres critiques — tandis que les autres paramètres ont tendance à s’ajuster aux étiquettes bruyées et ne généralisent pas bien, ce que nous appelons paramètres non critiques. À partir de cette observation, nous proposons une méthode appelée robust early-learning, visant à réduire l’effet secondaire des étiquettes bruyées avant l’arrêt prématuré, afin d’améliorer la mémorisation des étiquettes propres. Plus précisément, à chaque itération, nous divisons tous les paramètres en deux catégories — critiques et non critiques — et appliquons des règles de mise à jour distinctes selon leur type. Des expériences étendues sur des jeux de données standards simulés et des jeux de données réels à étiquettes bruitées démontrent l’efficacité supérieure de la méthode proposée par rapport aux méthodes d’apprentissage les plus avancées en présence de labels bruités.