HyperAIHyperAI

Command Palette

Search for a command to run...

Spärliche Aktivität und spärliche Konnektivität im überwachten Lernen

Markus Thom Günther Palm

Zusammenfassung

Die Sparsität ist ein nützliches Regularisierungsverfahren für das Lernen in einer Vielzahl von Anwendungen, insbesondere in neuronalen Netzen. Dieses Papier stellt ein Modell vor, das auf Klassifizierungsaufgaben abzielt, bei denen spärliche Aktivität und spärliche Verbindungen verwendet werden, um die Klassifizierungsfähigkeiten zu verbessern. Das Werkzeug zur Erreichung dieses Ziels ist ein Sparsitätsfordernder Projektionsoperator, der für jeden gegebenen Vektor den nächstgelegenen Vektor mit einer vorgegebenen Sparsität findet. Im theoretischen Teil des Papers wird eine umfassende Theorie für einen solchen Projektionsoperator entwickelt. Es wird gezeigt, dass die Projektion fast überall differenzierbar ist und daher als glatte neuronale Übertragungsfunktion implementiert werden kann. Das gesamte Modell kann somit mithilfe von gradientenbasierten Methoden end-to-end angepasst werden. Experimente anhand der MNIST-Datenbank von handschriftlichen Ziffern zeigen, dass die Klassifizierungsleistung durch spärliche Aktivität oder spärliche Verbindungen gesteigert werden kann. Mit einer Kombination beider Aspekte kann die Leistung erheblich besser sein im Vergleich zu klassischen nicht-sparsen Ansätzen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Spärliche Aktivität und spärliche Konnektivität im überwachten Lernen | Paper | HyperAI