In dieser Arbeit präsentieren wir eine einfache und effiziente Methode zur Schulung tiefer neuronaler Netze in einem semi-überwachten Szenario, bei dem nur ein kleiner Teil der Trainingsdaten beschriftet ist. Wir führen das Konzept des Selbst-Ensembles (self-ensembling) ein, bei dem wir durch die Ausgänge des im Training befindlichen Netzes in verschiedenen Epochen und unter unterschiedlichen Regularisierungs- und Eingabeerweiterungsbedingungen eine konsensierte Vorhersage der unbekannten Beschriftungen bilden. Diese Ensemble-Vorhersage kann als bessere Vorhersage für die unbekannten Beschriftungen erwartet werden als die Ausgabe des Netzes am Ende der neuesten Trainings-Epoche und kann daher als Ziel für das Training verwendet werden. Mit unserer Methode setzen wir neue Rekordwerte für zwei Standard-Benchmarks im Bereich des semi-überwachten Lernens: Wir reduzieren den Klassifikationsfehlerrate (nicht erweitert) von 18,44 % auf 7,05 % in SVHN mit 500 Beschriftungen und von 18,63 % auf 16,55 % in CIFAR-10 mit 4000 Beschriftungen. Durch die Aktivierung der standardmäßigen Erweiterungen erreichen wir weitere Verbesserungen auf 5,12 % und 12,16 %. Zudem erhalten wir eine deutliche Steigerung der Klassifikationsgenauigkeit in CIFAR-100, indem wir zufällige Bilder aus dem Tiny Images-Datensatz als unbeschriftete zusätzliche Eingaben während des Trainings verwenden. Schließlich zeigen wir eine gute Toleranz gegenüber fehlerhaften Beschriftungen.