Apprentissage semi-supervisé avec des réseaux en échelle

Nous combinons l'apprentissage supervisé avec l'apprentissage non supervisé dans les réseaux de neurones profonds. Le modèle proposé est entraîné pour minimiser simultanément la somme des fonctions de coût supervisées et non supervisées par rétropropagation, évitant ainsi la nécessité d'un pré-entraînement couche par couche. Notre travail s'appuie sur le réseau en échelle (Ladder network) proposé par Valpola (2015), que nous étendons en combinant le modèle avec une supervision. Nous montrons que le modèle résultant atteint des performances de pointe dans la classification semi-supervisée de MNIST et CIFAR-10, ainsi que dans la classification de MNIST invariante aux permutations avec toutes les étiquettes.