Regularisierung mit stochastischen Transformationen und Störungen für tiefes semi-supervises Lernen

Effektive Faltungsneuronale Netze (Convolutional Neural Networks) werden auf großen Mengen von etikettierten Daten trainiert. Die Erstellung großer etikettierter Datensätze ist jedoch eine sehr kostspielige und zeitaufwendige Aufgabe. Halbüberwachtes Lernen nutzt unetikettierte Daten, um ein Modell mit höherer Genauigkeit zu trainieren, wenn nur ein begrenzter Satz an etikettierten Daten zur Verfügung steht. In dieser Arbeit betrachten wir das Problem des halbüberwachten Lernens mit Faltungsneuronalen Netzen. Techniken wie zufällige Datenverstärkung (randomized data augmentation), Dropout und zufälliges Max-Pooling bieten bessere Verallgemeinerungsfähigkeiten und Stabilität für Klassifizierer, die mittels Gradientenabstieg trainiert werden. Mehrfache Durchläufe eines einzelnen Samples durch das Netzwerk können aufgrund des nicht deterministischen Verhaltens dieser Methoden zu unterschiedlichen Vorhersagen führen. Wir schlagen eine unüberwachte Verlustfunktion vor, die den stochastischen Charakter dieser Methoden ausnutzt und den Unterschied zwischen den Vorhersagen mehrerer Durchläufe eines Trainingsamples durch das Netzwerk minimiert. Wir evaluieren die vorgeschlagene Methode auf mehreren Benchmark-Datensätzen.