Dash : Apprentissage semi-supervisé avec seuillage dynamique

Bien que l’apprentissage semi-supervisé (SSL) ait suscité un intérêt considérable dans de nombreuses tâches d’apprentissage automatique grâce à son efficacité dans l’utilisation des données non étiquetées, les algorithmes SSL existants utilisent soit toutes les exemples non étiquetés, soit uniquement ceux dont les prédictions de pseudo-étiquettes sont de haute confiance, fixées a priori. Toutefois, cette approche peut entraîner une suppression ou une sélection excessive d’exemples corrects ou erronés. Dans ce travail, nous proposons un cadre simple mais puissant, dont l’idée centrale consiste à sélectionner un sous-ensemble d’exemples d’apprentissage parmi les données non étiquetées lors de l’application des méthodes SSL existantes, de manière à n’utiliser pour l’entraînement que les exemples non étiquetés dont les pseudo-étiquettes sont corrélées aux données étiquetées. Cette sélection est réalisée à chaque itération d’actualisation en ne conservant que les exemples dont la perte est inférieure à un seuil donné, ajusté dynamiquement au fil des itérations. La méthode proposée, nommée Dash, bénéficie d’une adaptabilité remarquable dans la sélection des données non étiquetées, ainsi que d’une garantie théorique. Plus précisément, nous établissons théoriquement le taux de convergence de Dash du point de vue de l’optimisation non convexe. Enfin, nous démontrons empiriquement l’efficacité de la méthode proposée par rapport aux approches de pointe sur diverses benchmarks.