Nichtlineare Neuronen mit menschenähnlichen Aktivierungen des apikalen Dendriten

Um linear nicht trennbare Daten zu klassifizieren, werden Neuronen typischerweise in mehrschichtige neuronale Netze organisiert, die mindestens eine versteckte Schicht aufweisen. Inspiriert durch neuere Entdeckungen in der Neurowissenschaft stellen wir ein neues Modell künstlicher Neuronen sowie eine neuartige Aktivierungsfunktion vor, die es ermöglicht, nichtlineare Entscheidungsgrenzen mit einem einzigen Neuron zu lernen. Wir zeigen, dass ein Standardneuron, gefolgt von unserer neuartigen apikalen Dendriten-Aktivierungsfunktion (ADA), die logische XOR-Funktion mit einer Genauigkeit von 100 % erlernen kann. Zudem führen wir Experimente an sechs Benchmark-Datensätzen aus den Bereichen Computer Vision, Signalverarbeitung und natürliche Sprachverarbeitung durch, nämlich MOROCO, UTKFace, CREMA-D, Fashion-MNIST, Tiny ImageNet und ImageNet. Dabei zeigen sich für verschiedene neuronale Netzarchitekturen – beispielsweise ein- oder zweischichtige mehrschichtige Perzeptronen (MLPs) sowie konvolutionale neuronale Netze (CNNs) wie LeNet, VGG, ResNet und Character-level CNN – überlegene Ergebnisse der ADA- und der leaky-ADA-Funktionen im Vergleich zu ReLU, leaky ReLU, RBF und Swish. Weitere Leistungsverbesserungen erzielen wir, wenn wir das Standardmodell des Neurons durch unser pyramidal neuron mit apikalen Dendriten-Aktivierungen (PyNADA) ersetzen. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/raduionescu/pynada.