L'apprentissage contrastif améliore la robustesse du modèle face au bruit étiqueté

Les classificateurs fondés sur les réseaux de neurones profonds entraînés avec la fonction de perte d'entropie croisée catégorique (CCE) sont sensibles au bruit d'étiquettes dans les données d'entraînement. Une catégorie courante de méthodes permettant de atténuer l'impact du bruit d'étiquettes peut être considérée comme des méthodes robustes supervisées : il suffit de remplacer la fonction de perte CCE par une perte résistante au bruit d'étiquettes, ou de réajuster les poids des échantillons d'entraînement en réduisant l'importance de ceux présentant une perte élevée. Récemment, une autre catégorie de méthodes basées sur l'apprentissage semi-supervisé (SSL) a été proposée, visant à améliorer ces approches supervisées afin d'exploiter plus efficacement les échantillons potentiellement bruyants. Bien que les méthodes supervisées robustes se comportent bien sur divers types de données, elles se sont révélées inférieures aux méthodes SSL dans les tâches de classification d'images soumises à du bruit d'étiquettes. Il reste donc à déterminer si ces méthodes supervisées peuvent également atteindre de très bons résultats si elles parviennent à exploiter de manière plus efficace les échantillons non étiquetés. Dans cet article, nous montrons qu'en initialisant les méthodes supervisées robustes à l'aide de représentations apprises par apprentissage contrastif, on obtient une amélioration significative des performances en présence de bruit d'étiquettes. De manière surprenante, même la méthode la plus simple (entraîner un classificateur avec la perte CCE) peut surpasser la méthode SSL d'avant-garde de plus de 50 % en conditions de fort bruit d'étiquettes, lorsqu'elle est initialisée à l'aide de l'apprentissage contrastif. Notre implémentation sera mise à disposition publiquement à l'adresse suivante : {\url{https://github.com/arghosh/noisy_label_pretrain}}.