Les réseaux neuronaux modernes ont la capacité de s’overfitter les étiquettes bruitées fréquemment présentes dans les jeux de données du monde réel. Bien que des progrès considérables aient été accomplis, les techniques existantes restent limitées quant à leur capacité à offrir des garanties théoriques sur les performances des réseaux neuronaux entraînés avec des étiquettes bruitées. Dans cet article, nous proposons une nouvelle approche, fondée sur des garanties théoriques solides, pour un entraînement robuste des réseaux profonds en présence d’étiquettes bruitées. L'idée centrale de notre méthode consiste à sélectionner des sous-ensembles pondérés (appelés coreset) de points de données propres, dont la matrice jacobienne approximativement de faible rang. Nous démontrons ensuite que la descente de gradient appliquée à ces sous-ensembles ne conduit pas à un overfitting des étiquettes bruitées. Nos expériences étendues confirment notre théorie et montrent que les réseaux profonds entraînés sur nos sous-ensembles atteignent une performance significativement supérieure à celle des méthodes de pointe : une augmentation de 6 % de précision sur CIFAR-10 avec 80 % d’étiquettes bruitées, et une augmentation de 7 % sur mini Webvision.