Entraînement à vue croisée pour l'apprentissage semi-supervisé

Nous présentons Cross-View Training (CVT), une méthode simple mais efficace pour l’apprentissage profond semi-supervisé. Sur les exemples étiquetés, le modèle est entraîné avec une perte d’entropie croisée classique. Sur un exemple non étiqueté, le modèle effectue d’abord une inférence (en tant que « professeur ») afin de produire des cibles souples. Ensuite, le modèle apprend à partir de ces cibles souples (en tant que « élève »). Contrairement aux travaux antérieurs, nous introduisons plusieurs couches d’inférence auxiliaires (« élèves ») dans le modèle. L’entrée de chaque couche d’élève est un sous-réseau du modèle complet, qui dispose d’une vue restreinte de l’entrée (par exemple, ne voyant qu’une seule région d’une image). Les élèves peuvent apprendre du professeur (le modèle complet) car ce dernier perçoit davantage d’informations pour chaque exemple. Parallèlement, les élèves améliorent la qualité des représentations utilisées par le professeur en apprenant à faire des prédictions avec des données limitées. Lorsqu’il est combiné à l’entraînement virtuel adversarial (Virtual Adversarial Training), CVT surpasser l’état de l’art actuel sur CIFAR-10 semi-supervisé et SVHN semi-supervisé. Nous appliquons également CVT à l’entraînement de modèles sur cinq tâches de traitement du langage naturel, en utilisant des centaines de millions de phrases non étiquetées. Sur toutes ces tâches, CVT surpasse de manière significative l’apprentissage supervisé seul, produisant des modèles qui surpassent ou sont compétitifs avec l’état de l’art actuel.