Gleichgerichtete Lineareinheit
Lineare Korrektureinheit ReLU ist eine häufig verwendete Aktivierungsfunktion in künstlichen neuronalen Netzwerken. Sie wird auch als lineare Gleichrichtungsfunktion bezeichnet und bezieht sich normalerweise auf eine nichtlineare Funktion, die durch eine Rampenfunktion und ihre Varianten dargestellt wird.
Merkmale der linearen Korrektureinheit
Zu den häufig verwendeten linearen Gleichrichtereinheiten gehören die Rampenfunktion f(x) = max(0, x) und die Leckgleichrichterfunktion Leaky ReLU, wobei x den Eingang des Neurons darstellt.
Man geht davon aus, dass die lineare Gleichrichtung bestimmten biologischen Prinzipien folgt. Da es in der Praxis normalerweise besser funktioniert als andere häufig verwendete Aktivierungsfunktionen, wird es häufig in tiefen neuronalen Netzwerken verwendet, einschließlich Computer Vision-Bereichen wie der Bilderkennung.
Als häufig verwendete Aktivierungsfunktion in neuronalen Netzwerken behält ReLU die biologische Inspiration der Step-Funktion bei. Wenn die Eingabe positiv ist, ist die Ableitung ungleich Null, was gradientenbasiertes Lernen ermöglicht. Wenn die Eingabe negativ ist, kann sich die Lerngeschwindigkeit von ReLU verlangsamen oder sogar dazu führen, dass das Neuron direkt ausfällt, da die Eingabe kleiner als Null und der Gradient Null ist, was dazu führt, dass die Gewichte nicht aktualisiert werden und während des restlichen Trainingsprozesses stumm bleiben.