Eine Analyse des unüberwachten Vortrainings im Licht jüngster Fortschritte

Faltungsneuronale Netze (Convolutional Neural Networks, CNNs) erzielen gute Ergebnisse bei der Objekterkennung aufgrund einer Reihe von jüngsten Fortschritten: ReLU-Einheiten (Rectified Linear Units), Datenverstärkung (Data Augmentation), Dropout und große annotierte Datensätze. Unüberwachte Daten wurden als eine weitere Möglichkeit vorgeschlagen, um die Leistung zu verbessern. Leider wird unüberwachtes Vortraining nicht von den Stand-der-Technik-Methoden verwendet, was folgende Frage aufwirft: Ist unüberwachtes Vortraining immer noch nützlich angesichts der jüngsten Fortschritte? Wenn ja, in welchen Fällen? Wir beantworten diese Frage in drei Schritten: 1) Wir entwickeln eine unüberwachte Methode, die ReLUs und aktuelle Techniken zur unüberwachten Regularisierung einbezieht, 2) wir analysieren die Vorteile des unüberwachten Vortrainings im Vergleich zur Datenverstärkung und zum Dropout am Beispiel von CIFAR-10 unter Berücksichtigung verschiedener Verhältnisse zwischen unüberwachten und überwachten Stichproben, 3) wir verifizieren unsere Erkenntnisse anhand von STL-10. Wir stellen fest, dass das unüberwachte Vortraining, wie erwartet, hilfreich ist, wenn das Verhältnis von unüberwachten zu überwachten Stichproben hoch ist. Überraschenderweise schadet es jedoch, wenn dieses Verhältnis niedrig ist. Darüber hinaus erreichen wir durch das Kombinieren des unüberwachten Vortrainings mit zusätzlicher Farbverstärkung nahezu standesgemäße Leistungen auf STL-10.