Unité de correction linéaire ReLU est une fonction d'activation couramment utilisée dans les réseaux de neurones artificiels. On l'appelle également fonction de rectification linéaire, faisant généralement référence à une fonction non linéaire représentée par une fonction de rampe et ses variantes.

Caractéristiques de l'unité de correction linéaire

Les unités de redressement linéaire couramment utilisées incluent la fonction de rampe f ( x ) = max ( 0 , x ) et la fonction de redressement à fuite Leaky ReLU, où x représente l'entrée du neurone.

On pense que la rectification linéaire repose sur certains principes biologiques. Comme il fonctionne généralement mieux que d’autres fonctions d’activation couramment utilisées dans la pratique, il est largement utilisé dans les réseaux neuronaux profonds, y compris les domaines de la vision par ordinateur tels que la reconnaissance d’images.

En tant que fonction d'activation couramment utilisée dans les réseaux neuronaux, ReLU conserve l'inspiration biologique de la fonction Step. Lorsque l'entrée est positive, la dérivée n'est pas nulle, ce qui permet un apprentissage basé sur le gradient. Lorsque l'entrée est négative, la vitesse d'apprentissage de ReLU peut ralentir ou même provoquer une défaillance directe du neurone, car l'entrée est inférieure à zéro et le gradient est nul, ce qui entraînera l'échec de la mise à jour des poids et leur silence pendant le reste du processus de formation.

Mots apparentés : fonction d'activation

Sous-mots : pente coréenne, fonction de redresseur à fuite