Apprentissage contrastif supervisé sélectif avec étiquettes bruitées

Les réseaux profonds possèdent une forte capacité à intégrer les données dans des représentations latentes et à accomplir des tâches ultérieures. Toutefois, cette capacité repose largement sur des étiquettes annotées de haute qualité, dont la collecte est coûteuse. Les étiquettes bruitées sont plus abordables, mais entraînent des représentations corrompues, ce qui se traduit par une mauvaise performance de généralisation. Afin d’apprendre des représentations robustes et de gérer efficacement les étiquettes bruitées, nous proposons dans cet article un nouvel algorithme appelé apprentissage contrastif supervisé sélectif (Sel-CL). Plus précisément, Sel-CL étend l’apprentissage contrastif supervisé (Sup-CL), une méthode puissante pour l’apprentissage de représentations, mais dont les performances se dégradent en présence d’étiquettes bruitées. Sel-CL cible directement la cause fondamentale du problème du Sup-CL : en effet, puisque le Sup-CL fonctionne de manière par paires, les paires erronées générées par des étiquettes bruitées induisent en erreur l’apprentissage des représentations. Pour atténuer ce problème, nous sélectionnons des paires fiables parmi les paires bruitées, sans avoir besoin de connaître les taux de bruit. Ce processus de sélection repose sur la mesure de l’alignement entre les représentations apprises et les étiquettes fournies : nous identifions d’abord des exemples fiables, qui servent à construire des paires fiables. Ensuite, en exploitant la distribution de similarité entre les représentations dans ces paires fiables, nous identifions davantage de paires fiables parmi les paires bruitées. Toutes les paires fiables ainsi obtenues sont finalement utilisées pour l’apprentissage contrastif supervisé, afin d’améliorer la qualité des représentations. Des expériences menées sur plusieurs jeux de données bruités démontrent la robustesse des représentations apprises par notre méthode, qui atteint des performances au niveau de l’état de l’art. Le code source est disponible à l’adresse suivante : https://github.com/ShikunLi/Sel-CL