Lernen von latente Darstellungen in neuronalen Netzen für Clustering durch Pseudo-Supervision und graphbasierte Aktivitätsregularisierung

In dieser Arbeit schlagen wir einen neuen unüberwachten Clusterverfahren vor, das die indirekt durch ein Pseudo-Klassifikationsziel eingeführten verborgenen Informationen ausnutzt. Genauer gesagt weisen wir jeder Beobachtung zufällig ein Pseudo-Überklassenlabel zu, das dann durch Anwendung der dem zugewiesenen Label entsprechenden domänenspezifischen Transformation modifiziert wird. Die generierten Pseudo-Beobachtungs-Label-Paare werden anschließend verwendet, um ein neuronales Netzwerk mit einem Auto-Clustering Output Layer (ACOL) zu trainieren, das für jede Pseudo-Überklasse mehrere Softmax-Knoten einführt. Aufgrund des unüberwachten Ziels, das auf Graph-basierten Aktivitätsregulierungstermen (GAR) basiert, spezialisieren sich die Softmax-Duplikate jeder Überklasse, da die während des Trainings propagierten verborgenen Informationen durch die Hilfe der domänenspezifischen Transformationen erfasst werden. Letztendlich erhalten wir eine für k-Means geeignete latente Darstellung. Des Weiteren zeigen wir auf, wie der gewählte Transformations-Typ die Leistung beeinflusst und hilft, die latente Information zu verbreiten, die nützlich ist, um unbekannte Cluster aufzudecken. Unsere Ergebnisse demonstrieren den aktuellen Stand der Technik bei unüberwachten Clusteraufgaben auf den Datensätzen MNIST, SVHN und USPS, wobei die höchsten bislang in der Literatur gemeldeten Genauigkeiten erreicht wurden.