Perforierte Backpropagation: Eine Erweiterung für künstliche neuronale Netze, inspiriert durch die Neurowissenschaft

Die Neuronen künstlicher neuronalen Netze wurden ursprünglich entwickelt, als noch viel weniger über biologische Neuronen bekannt war als heute. Unsere Arbeit untersucht eine Modifikation der Kernneuroneneinheit, um sie mehr mit einem biologischen Neuron in Einklang zu bringen. Diese Modifikation basiert auf dem Wissen, dass biologische Dendriten nicht einfach passive Aktivierungskanäle sind, sondern auch komplexe nichtlineare Funktionen berechnen, während sie die Aktivierung zum Zellkörper weiterleiten. Der Artikel beschreibt ein neues System der „Perforierten“ Rückwärtspropagation („Perforated“ Backpropagation), das den künstlichen Neuronen tiefer neuronalen Netze ermöglicht, bessere Leistung bei der Kodierung derselben Merkmale zu erzielen, die sie in der ursprünglichen Architektur kodiert haben. Nach einer anfänglichen Netzwerkausbildungsphase werden zusätzliche „Dendritenknoten“ („Dendrite Nodes“) dem Netzwerk hinzugefügt und getrennt mit einem anderen Ziel trainiert: ihre Ausgabe soll mit dem verbleibenden Fehler der ursprünglichen Neuronen korrelieren. Die trainierten Dendritenknoten werden dann fixiert, und die ursprünglichen Neuronen werden weiter ausgebildet, wobei sie nun die zusätzlichen Fehlersignale berücksichtigen, die von den Dendritenknoten bereitgestellt werden. Dieser Zyklus des Trainings der ursprünglichen Neuronen und anschließenden Hinzufügens und Trainings von Dendritenknoten kann mehrere Male wiederholt werden, bis zufriedenstellende Leistungen erreicht sind. Unser Algorithmus wurde erfolgreich in moderne state-of-the-art PyTorch-Netze verschiedener Domains integriert, wodurch die ursprüngliche Genauigkeit verbessert und eine signifikante Modellkompression ohne Genauigkeitsverlust ermöglicht wurde.