Command Palette
Search for a command to run...
Neurones non linéaires avec des activations de dendrites apicales similaires à celles des humains
Neurones non linéaires avec des activations de dendrites apicales similaires à celles des humains
Mariana-Iuliana Georgescu Radu Tudor Ionescu Nicolae-Catalin Ristea Nicu Sebe
Résumé
Afin de classifier des données non séparables de manière linéaire, les neurones sont généralement organisés en réseaux de neurones multicouches comportant au moins une couche cachée. Inspirés par certaines découvertes récentes en neurosciences, nous proposons un nouveau modèle de neurone artificiel ainsi qu'une fonction d'activation originale permettant d'apprendre des frontières de décision non linéaires à l'aide d'un seul neurone. Nous démontrons qu'un neurone standard suivi de notre nouvelle fonction d'activation apicale (ADA, apical dendrite activation) peut apprendre la fonction logique XOR avec une précision de 100 %. Par ailleurs, nous menons des expériences sur six jeux de données de référence issus du domaine de la vision par ordinateur, du traitement du signal et du traitement du langage naturel : MOROCO, UTKFace, CREMA-D, Fashion-MNIST, Tiny ImageNet et ImageNet. Les résultats montrent que les fonctions ADA et leaky ADA surpassent les fonctions ReLU, leaky ReLU, RBF et Swish sur diverses architectures de réseaux de neurones, notamment des perceptrons multicouches à une ou deux couches cachées (MLP), ainsi que des réseaux de neurones convolutifs (CNN) tels que LeNet, VGG, ResNet et CNN au niveau des caractères. Des améliorations supplémentaires de performance sont obtenues lorsque nous remplaçons le modèle standard de neurone par notre nouveau modèle de neurone pyramidal à activations apicales (PyNADA). Le code source est disponible à l'adresse suivante : https://github.com/raduionescu/pynada.