DMT : Entraînement mutuel dynamique pour l'apprentissage semi-supervisé

Les méthodes récentes d’apprentissage semi-supervisé reposent sur l’idée centrale de la supervision pseudo-étiquetée, en particulier les approches de self-training qui génèrent des pseudo-étiquettes. Toutefois, ces pseudo-étiquettes sont intrinsèquement peu fiables. Les méthodes de self-training s’appuient généralement sur la confiance des prédictions d’un seul modèle pour filtrer les pseudo-étiquettes à faible confiance, ce qui entraîne la persistance d’erreurs à haute confiance tout en négligeant de nombreuses étiquettes correctes à faible confiance. Dans cet article, nous soulignons qu’il est difficile pour un modèle de corriger ses propres erreurs. À la place, exploiter le désaccord inter-modèles entre différents modèles apparaît comme une clé pour localiser les erreurs dans les pseudo-étiquettes. À partir de cette nouvelle perspective, nous proposons une méthode de mutual training entre deux modèles distincts, basée sur une fonction de perte rééquilibrée dynamiquement, appelée Dynamic Mutual Training (DMT). Nous quantifions le désaccord inter-modèles en comparant les prédictions issues de deux modèles différents afin de réajuster dynamiquement la fonction de perte pendant l’entraînement : un désaccord plus important indique une possible erreur et correspond à une valeur de perte plus faible. Des expériences étendues montrent que DMT atteint des performances de pointe dans les tâches de classification d’images et de segmentation sémantique. Le code source est disponible à l’adresse suivante : https://github.com/voldemortX/DST-CBC.