Comprendre et améliorer l'arrêt prématuré pour l'apprentissage avec des étiquettes bruitées

L’effet de mémorisation des réseaux de neurones profonds (DNN) joue un rôle central dans de nombreuses méthodes d’apprentissage avec des étiquettes bruitées de pointe. Pour exploiter cette propriété, la technique d’arrêt précoce, qui interrompt l’optimisation à un stade précoce de l’entraînement, est généralement adoptée. Les méthodes actuelles déterminent généralement le point d’arrêt précoce en considérant le DNN comme un tout. Toutefois, un DNN peut être vu comme une composition de plusieurs couches, et nous observons que les couches ultérieures sont bien plus sensibles au bruit d’étiquetage, tandis que les couches antérieures s’avèrent beaucoup plus robustes. Ainsi, choisir un point d’arrêt unique pour l’ensemble du réseau peut entraîner des effets antagonistes entre les différentes couches, ce qui nuit à la performance finale. Dans cet article, nous proposons de séparer le DNN en différentes parties et de les entraîner progressivement afin de résoudre ce problème. Contrairement à l’arrêt précoce, qui entraîne l’ensemble du DNN en une seule fois, nous commençons par entraîner les couches antérieures en optimisant le DNN sur un nombre relativement élevé d’époques. Pendant cet entraînement, nous entraînons progressivement les couches ultérieures avec un nombre réduit d’époques, en maintenant les couches précédentes gelées afin de contrer l’impact des étiquettes bruitées. Nous appelons cette méthode propositionnelle « arrêt précoce progressif » (PES, Progressive Early Stopping). Malgré sa simplicité, la PES permet d’obtenir des résultats plus prometteurs et plus stables que l’arrêt précoce classique. En outre, en combinant la PES avec des approches existantes pour l’apprentissage avec des étiquettes bruitées, nous atteignons des performances de pointe sur des benchmarks de classification d’images.