Gleichgerichtete Lineareinheit

Lineare Korrektureinheit(ReLU), auch als Gleichrichter-Linearfunktion bekannt, ist eine Aktivierungsfunktion, die häufig in künstlichen neuronalen Netzwerken verwendet wird und sich normalerweise auf nichtlineare Funktionen bezieht, die durch Rampenfunktionen und deren Varianten dargestellt werden.

Merkmale der linearen Korrektureinheit

Zu den häufiger verwendeten ReLUs gehören die Rampenfunktion f(x) = max(0, x) und die Leckgleichrichterfunktion (Leaky ReLU), wobei x der Eingang des Neurons ist.

Man geht davon aus, dass die lineare Gleichrichtung bestimmten biologischen Prinzipien folgt und in der Praxis üblicherweise besser funktioniert als andere häufig verwendete Aktivierungsfunktionen (wie etwa logistische Funktionen). Daher wird sie in den heutigen tiefen neuronalen Netzwerken in Bereichen der Computervision und künstlichen Intelligenz, wie etwa der Bilderkennung, häufig verwendet.

ReLU ist die am häufigsten verwendete Aktivierungsfunktion in neuronalen Netzwerken. Es behält die biologische Inspiration der Sprungfunktion bei (das Neuron wird nur aktiviert, wenn der Input den Schwellenwert überschreitet), aber die Ableitung ist nicht Null, wenn der Input positiv ist, wodurch gradientenbasiertes Lernen möglich ist (obwohl die Ableitung undefiniert ist, wenn x = 0).

Durch die Verwendung dieser Funktion werden Berechnungen sehr schnell durchgeführt, da weder die Funktion noch ihre Ableitungen komplexe mathematische Operationen erfordern. Wenn die Eingabe jedoch negativ ist, kann die Lerngeschwindigkeit von ReLU sehr langsam werden oder das Neuron sogar direkt ungültig machen, da die Eingabe kleiner als Null und der Gradient Null ist, sodass sein Gewicht nicht aktualisiert werden kann und es für den Rest des Trainingsprozesses stumm bleibt.

Verwandte Wörter / Bedeutung: Aktivierungsfunktion

Unterwörter: Steigung Koreanisch, Leckgleichrichterfunktion

Quellen:

【1】https://zh.wikipedia.org/wiki/Lineare Gleichrichtungsfunktion

【2】https://www.jiqizhixin.com/articles/2017-10-10-3