Faltungsclustering für das unüberwachte Lernen

Die Aufgabe, Daten für das Training tiefer neuronaler Netze zu kennzeichnen, ist mühsam und zeitaufwendig und erfordert Millionen von Labels, um die aktuellen Stand der Technik Ergebnisse zu erreichen. Diese starke Abhängigkeit von großen Mengen an gekennzeichneten Daten kann durch die Nutzung hierarchischer Merkmale mittels unüberwachter Lernverfahren abgemildert werden. In dieser Arbeit schlagen wir vor, ein tiefes Faltungsnetzwerk basierend auf einer erweiterten Version des k-Means-Clustering-Algorithmus zu trainieren, der die Anzahl korrelierter Parameter in Form ähnlicher Filter reduziert und dadurch die Testkategorisierungsgenauigkeit erhöht. Wir nennen unseren Algorithmus Faltungs-k-Means-Clustering (Convolutional k-means Clustering). Darüber hinaus zeigen wir, dass das Erlernen der Verbindungen zwischen den Schichten eines tiefen Faltungsneuronalen Netzwerks dessen Fähigkeit verbessert, auf kleineren Mengen an gekennzeichneten Daten trainiert zu werden. Unsere Experimente belegen, dass der vorgeschlagene Algorithmus andere Techniken übertrifft, die Filter unüberwacht lernen. Insbesondere erzielten wir eine Testgenauigkeit von 74,1 % auf STL-10 und einen Testfehler von 0,5 % auf MNIST.