HyperAIHyperAI

Command Palette

Search for a command to run...

Étudiant Dual : Dépasser les Limites de l'Enseignant dans l'Apprentissage Semi-supervisé

Zhanghan Ke; Daoye Wang; Qiong Yan; Jimmy Ren; Rynson W.H. Lau

Résumé

Récemment, les méthodes basées sur la cohérence ont obtenu des résultats de pointe dans l'apprentissage semi-supervisé (SSL). Ces méthodes impliquent toujours deux rôles, un modèle enseignant explicite ou implicite et un modèle élève, en pénalisant les prédictions sous différentes perturbations par une contrainte de cohérence. Cependant, les poids de ces deux rôles sont étroitement liés puisque l'enseignant est essentiellement une moyenne mobile exponentielle (EMA) du modèle élève. Dans ce travail, nous montrons que l'EMA enseignant couplé entraîne une limite de performance. Pour résoudre ce problème, nous introduisons le concept de Dual Student, qui remplace l'enseignant par un autre élève. Nous définissons également un nouveau concept, celui d'échantillon stable, à partir duquel une contrainte de stabilisation est conçue pour rendre notre structure entraînable. De plus, nous discutons de deux variantes de notre méthode, qui produisent des performances encore meilleures. Des expériences approfondies montrent que notre méthode améliore significativement les performances de classification sur plusieurs principaux benchmarks SSL. Plus précisément, elle réduit le taux d'erreur du CNN à 13 couches de 16,84 % à 12,39 % sur CIFAR-10 avec 1 000 étiquettes et de 34,10 % à 31,56 % sur CIFAR-100 avec 10 000 étiquettes. En outre, notre méthode réalise également une amélioration claire en adaptation de domaine.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp