Semi-Supervised Learning mit Leiter-Netzwerken

Wir kombinieren überwachtes Lernen mit unüberwachtem Lernen in tiefen neuronalen Netzen. Das vorgeschlagene Modell wird durch Backpropagation trainiert, um die Summe der überwachten und unüberwachten Kostenfunktionen gleichzeitig zu minimieren, wodurch die Notwendigkeit einer schichtweisen Vortraining vermieden wird. Unsere Arbeit basiert auf dem von Valpola (2015) vorgeschlagenen Ladder-Netzwerk, das wir erweitern, indem wir das Modell mit Überwachung kombinieren. Wir zeigen, dass das resultierende Modell den Stand der Technik in halb-überwachten Klassifikationen von MNIST und CIFAR-10 sowie in permutationsinvarianter MNIST-Klassifikation mit allen Labels erreicht.