ProgressiveSpinalNet-Architektur für FC-Lagen

In Deep-Learning-Modellen spielt die FC-Schicht (fully connected layer) eine zentrale Rolle bei der Klassifikation der Eingabedaten basierend auf den aus den vorherigen Schichten gelernten Merkmalen. Die FC-Schichten weisen die höchste Anzahl an Parametern auf, und die Feinabstimmung dieser großen Parameteranzahl verbraucht den größten Teil der rechnerischen Ressourcen. Ziel dieser Arbeit ist es daher, die Anzahl dieser Parameter erheblich zu reduzieren, während gleichzeitig die Leistungsfähigkeit verbessert wird. Die Motivation hierfür stammt aus der Architektur von SpinalNet und anderen biologischen Strukturen. Die vorgeschlagene Architektur verfügt über eine Gradienten-Highway-Verbindung zwischen Eingabe- und Ausgabeschichten, die das Problem des verschwindenden Gradienten in tiefen Netzwerken löst. In dieser Architektur erhalten alle Schichten sowohl Eingaben von den vorherigen Schichten als auch den Ausgabewerten der CNN-Schichten, wodurch alle Schichten aktiv zur Entscheidungsfindung beitragen, insbesondere die letzte Schicht. Dieser Ansatz erreicht eine verbesserte Klassifikationsleistung im Vergleich zur SpinalNet-Architektur und erzielt State-of-the-Art-Ergebnisse auf mehreren Datensätzen wie Caltech101, KMNIST, QMNIST und EMNIST. Der Quellcode ist unter https://github.com/praveenchopra/ProgressiveSpinalNet verfügbar.