FreeMatch : seuillage auto-adaptatif pour l'apprentissage semi-supervisé

L’apprentissage semi-supervisé (SSL) a connu un grand succès grâce aux performances remarquables offertes par diverses méthodes fondées sur l’étiquetage par pseudo-étiquettes et la régularisation de cohérence. Toutefois, nous affirmons que les méthodes existantes pourraient ne pas exploiter efficacement les données non étiquetées, car elles reposent soit sur un seuil prédéfini ou fixe, soit sur une stratégie ad hoc d’ajustement du seuil, ce qui entraîne des performances inférieures et une convergence lente. Nous analysons d’abord un exemple motivant afin d’obtenir des intuitions sur la relation entre le seuil souhaitable et l’état d’apprentissage du modèle. À partir de cette analyse, nous proposons FreeMatch, une méthode qui ajuste le seuil de confiance de manière autonome en fonction de l’état d’apprentissage du modèle. Nous introduisons également une pénalité de régularisation de justesse des classes autonome, visant à encourager des prédictions diversifiées durant les premières étapes de l’entraînement. Des expériences étendues montrent l’infériorité de FreeMatch, en particulier lorsque les données étiquetées sont extrêmement rares. FreeMatch réduit les taux d’erreur de respectivement 5,78 %, 13,59 % et 1,28 % par rapport à la méthode de pointe la plus récente, FlexMatch, sur CIFAR-10 avec 1 étiquette par classe, STL-10 avec 4 étiquettes par classe et ImageNet avec 100 étiquettes par classe. En outre, FreeMatch améliore également les performances dans le cadre de SSL déséquilibré. Le code est disponible à l’adresse suivante : https://github.com/microsoft/Semi-supervised-learning.