Sparse Autoencoder

Sparse Autoencoder (SAEs) sind ein unbeaufsichtigter Algorithmus für maschinelles Lernen, der ein Modell trainiert, indem er den Fehler zwischen der Ausgabe des Autoencoders und der ursprünglichen Eingabe berechnet und die Parameter des Autoencoders kontinuierlich anpasst. Autoencoder können verwendet werden, um Eingabeinformationen zu komprimieren und nützliche Eingabefunktionen zu extrahieren.

Der Autoencoder wurde ursprünglich basierend auf der Idee der Dimensionsreduzierung vorgeschlagen. Wenn jedoch die Anzahl der verborgenen Knoten größer ist als die Anzahl der Eingabeknoten, verliert der Autoencoder die Fähigkeit, Beispielfunktionen automatisch zu erlernen. Zu diesem Zeitpunkt ist es notwendig, den verborgenen Knoten bestimmte Einschränkungen aufzuerlegen. Ähnlich wie beim Ausgangspunkt des Denoising-Autoencoders sind hochdimensionale und spärliche Ausdrücke gut. Daher wird vorgeschlagen, den verborgenen Knoten einige Sparsity-Grenzen aufzuerlegen. Der Sparse-Autoencoder wird durch Hinzufügen einiger Sparsity-Einschränkungen auf der Grundlage des herkömmlichen Autoencoders erhalten. Diese Spärlichkeit gilt für die Neuronen der verborgenen Schicht des Autoencoders. Durch die Unterdrückung der meisten Ausgaben der Neuronen der verborgenen Schicht erzielt das Netzwerk einen spärlichen Effekt.