Étudiant Dual : Dépasser les Limites de l'Enseignant dans l'Apprentissage Semi-supervisé

Récemment, les méthodes basées sur la cohérence ont obtenu des résultats de pointe dans l'apprentissage semi-supervisé (SSL). Ces méthodes impliquent toujours deux rôles, un modèle enseignant explicite ou implicite et un modèle élève, en pénalisant les prédictions sous différentes perturbations par une contrainte de cohérence. Cependant, les poids de ces deux rôles sont étroitement liés puisque l'enseignant est essentiellement une moyenne mobile exponentielle (EMA) du modèle élève. Dans ce travail, nous montrons que l'EMA enseignant couplé entraîne une limite de performance. Pour résoudre ce problème, nous introduisons le concept de Dual Student, qui remplace l'enseignant par un autre élève. Nous définissons également un nouveau concept, celui d'échantillon stable, à partir duquel une contrainte de stabilisation est conçue pour rendre notre structure entraînable. De plus, nous discutons de deux variantes de notre méthode, qui produisent des performances encore meilleures. Des expériences approfondies montrent que notre méthode améliore significativement les performances de classification sur plusieurs principaux benchmarks SSL. Plus précisément, elle réduit le taux d'erreur du CNN à 13 couches de 16,84 % à 12,39 % sur CIFAR-10 avec 1 000 étiquettes et de 34,10 % à 31,56 % sur CIFAR-100 avec 10 000 étiquettes. En outre, notre méthode réalise également une amélioration claire en adaptation de domaine.