Definition der Aktivierungsfunktion

Eine Aktivierungsfunktion ist eine Funktion, die auf ein Neuron in einem neuronalen Netzwerk einwirkt und für die Zuordnung der Eingabe des Neurons zu seiner Ausgabe verantwortlich ist.

Es ermöglicht dem neuronalen Netzwerkmodell, über eine nichtlineare Differenzierungsfähigkeit zu verfügen.BeliebigNähern Sie sich jeder nichtlinearen Funktion. Dadurch können neuronale Netzwerkmodelle auf eine breite Palette nichtlinearer Modelle angewendet werden.

Seine Existenz ermöglicht es dem neuronalen Netzwerkmodell, nichtlineare Funktionen zu unterscheiden, was auch die Anwendung des neuronalen Netzwerkmodells auf viele nichtlineare Modelle ermöglicht.

Eigenschaften der Aktivierungsfunktion

Nichtlinear： Für lineare Aktivierungsfunktionen kann ein zweischichtiges neuronales Netzwerk fast alle Funktionen erfüllen; aber diese Bedingung gilt nicht für die Identitätsaktivierungsfunktion. Wenn MLP dieselbe Aktivierungsfunktion verwendet, entspricht das gesamte neuronale Netzwerk einem einschichtigen neuronalen Netzwerk.

Differenzierbarkeit: Es spielt eine wichtige Rolle bei gradientenbasierten Optimierungsmethoden. (Differenzierbar bedeutet, dass die Funktion in alle Richtungen differenzierbar ist und differenzierbar größer oder gleich differenzierbar ist)

Monotonie： Wenn die Aktivierungsfunktion eine monotone Funktion ist, erscheint das einschichtige Netzwerk als konvexe Funktion.

f(x)≈x: Wenn die Aktivierungsfunktion diese Formel erfüllt und der Initialisierungsparameter ein sehr kleiner Zufallswert ist, wird die Trainingseffizienz des neuronalen Netzwerks verbessert. Wenn diese Formel jedoch nicht erfüllt ist, muss der Anfangswert speziell festgelegt werden.

Ausgabewertebereich: Wenn der Ausgabewert der Aktivierungsfunktion endlich ist, ist die gradientenbasierte Optimierungsmethode stabiler. Wenn der Ausgabewert der Aktivierungsfunktion unendlich ist, ist das Modelltraining effizienter.

Allgemeine Aktivierungsfunktionen

• Sigmoid
• Tanh
• ReLU
• Maxout
• ELU

Messmethode

Normalerweise gibt es die folgenden experimentellen Methoden, um zu messen, welche Aktivierungsfunktion verwendet werden soll:

1. Kann der Gradient effektiv fortgepflanzt werden?
2. Ist der Mittelwert 0?
3. Ist der Rechenaufwand hoch?

In einem neuronalen Netzwerk kann die Aktivierungsfunktion bestimmen, ob ein Neuron aktiviert wird, ob die Informationen wertvoll sind oder ob sie verworfen werden sollten.