Fonction D'activation

Définition de la fonction d'activation

Une fonction d'activation est une fonction qui opère sur un neurone dans un réseau neuronal et est responsable de la cartographie de l'entrée du neurone à sa sortie.

Il permet au modèle de réseau neuronal d’avoir une capacité de différenciation non linéaire.N'importe lequelApproximer n'importe quelle fonction non linéaire. Cela permet d’appliquer les modèles de réseaux neuronaux à une large gamme de modèles non linéaires.

Son existence permet au modèle de réseau neuronal de distinguer les fonctions non linéaires, ce qui permet également au modèle de réseau neuronal d'être appliqué à de nombreux modèles non linéaires.

Propriétés de la fonction d'activation

Non linéaire：Pour les fonctions d'activation linéaire, un réseau neuronal à deux couches peut satisfaire presque toutes les fonctions ; mais cette condition n’est pas vérifiée dans la fonction d’activation de l’identité. Si MLP utilise la même fonction d’activation, alors l’ensemble du réseau neuronal est équivalent à un réseau neuronal monocouche.

Différenciabilité:Il joue un rôle important dans les méthodes d’optimisation basées sur le gradient. (Différentiable signifie que la fonction est différentiable dans toutes les directions, et différentiable est supérieur ou égal à différentiable)

Monotonie：Lorsque la fonction d'activation est une fonction monotone, le réseau monocouche apparaît comme une fonction convexe.

f(x)≈x:Lorsque la fonction d'activation satisfait cette formule, le paramètre d'initialisation est une très petite valeur aléatoire, alors l'efficacité de la formation du réseau neuronal sera améliorée ; mais lorsqu'elle ne satisfait pas cette formule, il est nécessaire de fixer spécifiquement la valeur initiale.

Plage de valeurs de sortie:Lorsque la valeur de sortie de la fonction d'activation est finie, la méthode d'optimisation basée sur le gradient sera plus stable ; lorsque la valeur de sortie de la fonction d'activation est infinie, la formation du modèle sera plus efficace.

Fonctions d'activation courantes

• Sigmoïde
• tanh
• ReLU
• Maxout
• ÉLU

Méthode de mesure

Habituellement, il existe les méthodes expérimentales suivantes pour mesurer la fonction d’activation à utiliser :

1. Le gradient peut-il être propagé efficacement ?
2. La moyenne est-elle de 0 ?
3. Le coût de calcul est-il élevé ?

Dans un réseau neuronal, la fonction d’activation peut déterminer si un neurone est activé, si l’information est précieuse ou si elle doit être rejetée.