Répétition de Réprédiction Profonde pour l'Apprentissage Semi-Supervisé

Les méthodes de deep learning semi-supervisé (deep SSL) les plus récentes ont généralement suivi un paradigme similaire : utiliser les prédictions du réseau pour mettre à jour les pseudo-étiquettes et utiliser ces pseudo-étiquettes pour mettre à jour les paramètres du réseau de manière itérative. Cependant, ces méthodes manquent de fondement théorique et ne peuvent pas expliquer pourquoi les prédictions sont de bons candidats pour servir de pseudo-étiquettes. Dans cet article, nous proposons un cadre principiel et intégré nommé deep decipher (D2) pour le SSL. Au sein du cadre D2, nous démontrons que les pseudo-étiquettes sont liées aux prédictions du réseau par une fonction de lien exponentielle, ce qui fournit un soutien théorique à l'utilisation des prédictions comme pseudo-étiquettes. De plus, nous montrons que la mise à jour des pseudo-étiquettes par les prédictions du réseau peut les rendre incertaines. Pour atténuer ce problème, nous proposons une stratégie d'entraînement appelée repetitive reprediction (R2). Enfin, la méthode R2-D2 proposée est testée sur le grand ensemble de données ImageNet et surpasse les méthodes de pointe actuelles avec une amélioration de 5 points de pourcentage.