HyperAIHyperAI

Command Palette

Search for a command to run...

ProgressiveSpinalNet-Architektur für FC-Lagen

Praveen Chopra

Zusammenfassung

In Deep-Learning-Modellen spielt die FC-Schicht (fully connected layer) eine zentrale Rolle bei der Klassifikation der Eingabedaten basierend auf den aus den vorherigen Schichten gelernten Merkmalen. Die FC-Schichten weisen die höchste Anzahl an Parametern auf, und die Feinabstimmung dieser großen Parameteranzahl verbraucht den größten Teil der rechnerischen Ressourcen. Ziel dieser Arbeit ist es daher, die Anzahl dieser Parameter erheblich zu reduzieren, während gleichzeitig die Leistungsfähigkeit verbessert wird. Die Motivation hierfür stammt aus der Architektur von SpinalNet und anderen biologischen Strukturen. Die vorgeschlagene Architektur verfügt über eine Gradienten-Highway-Verbindung zwischen Eingabe- und Ausgabeschichten, die das Problem des verschwindenden Gradienten in tiefen Netzwerken löst. In dieser Architektur erhalten alle Schichten sowohl Eingaben von den vorherigen Schichten als auch den Ausgabewerten der CNN-Schichten, wodurch alle Schichten aktiv zur Entscheidungsfindung beitragen, insbesondere die letzte Schicht. Dieser Ansatz erreicht eine verbesserte Klassifikationsleistung im Vergleich zur SpinalNet-Architektur und erzielt State-of-the-Art-Ergebnisse auf mehreren Datensätzen wie Caltech101, KMNIST, QMNIST und EMNIST. Der Quellcode ist unter https://github.com/praveenchopra/ProgressiveSpinalNet verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp