HyperAIHyperAI

Command Palette

Search for a command to run...

S-TLLR: STDP-geprägtes zeitliches lokales Lernregel für spiking neuronale Netze

Marco P. E. Apolinario Kaushik Roy

Zusammenfassung

Spiking Neural Networks (SNNs) sind biologisch plausibele Modelle, die als potenziell geeignet für die Bereitstellung energieeffizienter Intelligenz am Netzwerk-Rand identifiziert wurden, insbesondere für sequenzielle Lernaufgaben. Die Schulung von SNNs stellt jedoch erhebliche Herausforderungen dar, aufgrund der Notwendigkeit präziser zeitlicher und räumlicher Zurechnung. Der Backpropagation Through Time (BPTT)-Algorithmus, obwohl die am häufigsten verwendete Methode zur Bewältigung dieser Probleme, verursacht hohe Rechenkosten aufgrund seiner zeitlichen Abhängigkeit. In dieser Arbeit schlagen wir S-TLLR vor, eine neuartige dreifaktor-basierte temporale lokale Lernregel, inspiriert durch den Mechanismus der Spike-Timing-Dependent Plasticity (STDP), welche darauf abzielt, tiefe SNNs bei ereignisbasierten Lernaufgaben zu trainieren. Darüber hinaus ist S-TLLR so konzipiert, dass es geringe Speicher- und Zeitkomplexitäten aufweist, die unabhängig von der Anzahl der Zeitschritte sind, was es für das Online-Lernen auf energieeffizienten Randgeräten geeignet macht. Um die Skalierbarkeit unserer vorgeschlagenen Methode zu demonstrieren, haben wir umfangreiche Evaluierungen an ereignisbasierten Datensätzen durchgeführt, die eine breite Palette von Anwendungen abdecken, wie z.B. Bild- und Gestenerkennung, Audio-Klassifikation und optische Flussberechnung. In allen Experimenten erreichte S-TLLR eine hohe Genauigkeit, vergleichbar mit BPTT, mit einer Reduktion des Speicherverbrauchs zwischen 5-50-fach und der Anzahl der Multiplikations-Akkumulationsoperationen (MAC) zwischen 1,3-6,6-fach.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp