Formation par interpolation cohérente pour l'apprentissage semi-supervisé

Nous présentons l'Interpolation Consistency Training (ICT), un algorithme simple et efficace en termes de calcul pour l'entraînement des Réseaux Neuronaux Profonds dans le paradigme d'apprentissage semi-supervisé. L'ICT incite la prédiction à un point d'interpolation de données non étiquetées à être cohérente avec l'interpolation des prédictions à ces points. Dans les problèmes de classification, l'ICT déplace la frontière de décision vers des régions de faible densité de la distribution des données. Nos expériences montrent que l'ICT atteint des performances de pointe lorsqu'il est appliqué à des architectures de réseaux neuronaux standards sur les jeux de données de référence CIFAR-10 et SVHN. Notre analyse théorique montre que l'ICT correspond à un certain type de régularisation adaptative aux données utilisant des points non étiquetés, ce qui réduit le surapprentissage sur les points étiquetés lorsque les valeurs de confiance sont élevées.