HyperAIHyperAI

Command Palette

Search for a command to run...

Neurones non linéaires avec des activations de dendrites apicales similaires à celles des humains

Mariana-Iuliana Georgescu Radu Tudor Ionescu Nicolae-Catalin Ristea Nicu Sebe

Résumé

Afin de classifier des données non séparables de manière linéaire, les neurones sont généralement organisés en réseaux de neurones multicouches comportant au moins une couche cachée. Inspirés par certaines découvertes récentes en neurosciences, nous proposons un nouveau modèle de neurone artificiel ainsi qu'une fonction d'activation originale permettant d'apprendre des frontières de décision non linéaires à l'aide d'un seul neurone. Nous démontrons qu'un neurone standard suivi de notre nouvelle fonction d'activation apicale (ADA, apical dendrite activation) peut apprendre la fonction logique XOR avec une précision de 100 %. Par ailleurs, nous menons des expériences sur six jeux de données de référence issus du domaine de la vision par ordinateur, du traitement du signal et du traitement du langage naturel : MOROCO, UTKFace, CREMA-D, Fashion-MNIST, Tiny ImageNet et ImageNet. Les résultats montrent que les fonctions ADA et leaky ADA surpassent les fonctions ReLU, leaky ReLU, RBF et Swish sur diverses architectures de réseaux de neurones, notamment des perceptrons multicouches à une ou deux couches cachées (MLP), ainsi que des réseaux de neurones convolutifs (CNN) tels que LeNet, VGG, ResNet et CNN au niveau des caractères. Des améliorations supplémentaires de performance sont obtenues lorsque nous remplaçons le modèle standard de neurone par notre nouveau modèle de neurone pyramidal à activations apicales (PyNADA). Le code source est disponible à l'adresse suivante : https://github.com/raduionescu/pynada.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp