Entraînement robuste sous bruit d'étiquettes par sur-paramétrage

Récemment, les réseaux profonds sur-paramétrés, dont le nombre de paramètres dépasse de plus en plus celui des échantillons d'apprentissage, ont dominé les performances des méthodes modernes d'apprentissage automatique. Toutefois, lorsque les données d'entraînement sont corrompues, il est bien établi que ces réseaux sur-paramétrés ont tendance à surajuster et à mal généraliser. Dans ce travail, nous proposons une approche fondée sur des principes solides pour l'entraînement robuste de réseaux profonds sur-paramétrés dans des tâches de classification où une proportion des étiquettes d'entraînement est corrompue. L'idée principale est en réalité très simple : le bruit d'étiquette est creux (sparse) et incohérent par rapport au réseau appris à partir de données propres ; nous modélisons donc ce bruit et apprenons à le séparer des données. Plus précisément, nous modélisons le bruit d'étiquette à l'aide d'un terme supplémentaire sur-paramétrisé creux, et exploitons les régularisations algorithmiques implicites afin de récupérer et séparer les perturbations sous-jacentes. De manière remarquable, en appliquant simplement cette méthode en pratique, nous obtenons des performances de précision sur les tests au niveau de l'état de l'art face au bruit d'étiquette sur divers jeux de données réels. De plus, nos résultats expérimentaux sont corroborés par une analyse théorique menée sur des modèles linéaires simplifiés, montrant qu'une séparation exacte entre le bruit creux et les données de faible rang peut être réalisée sous des conditions d'incohérence. Ce travail ouvre de nombreuses directions prometteuses pour améliorer les modèles sur-paramétrés grâce à une sur-paramétrisation creuse et à des régularisations implicites.