Unité Linéaire Rectifiée

Unité de correction linéaire(ReLU), également connue sous le nom de fonction linéaire de redressement, est une fonction d'activation couramment utilisée dans les réseaux de neurones artificiels, faisant généralement référence aux fonctions non linéaires représentées par des fonctions de rampe et leurs variantes.

Caractéristiques de l'unité de correction linéaire

Les ReLU les plus couramment utilisés incluent la fonction de rampe f ( x ) = max ( 0 , x ) et la fonction de redresseur à fuite (Leaky ReLU), où x est l'entrée du neurone.

On pense que la rectification linéaire repose sur certains principes biologiques et, comme elle fonctionne généralement mieux que d'autres fonctions d'activation couramment utilisées (telles que les fonctions logistiques) dans la pratique, elle est largement utilisée dans les réseaux neuronaux profonds d'aujourd'hui dans les domaines de l'intelligence artificielle de la vision par ordinateur tels que la reconnaissance d'images.

ReLU est la fonction d'activation la plus couramment utilisée dans les réseaux neuronaux. Elle conserve l'inspiration biologique de la fonction step (le neurone n'est activé que lorsque l'entrée dépasse le seuil), mais la dérivée n'est pas nulle lorsque l'entrée est positive, permettant ainsi un apprentissage basé sur le gradient (bien que la dérivée soit indéfinie lorsque x = 0).

L'utilisation de cette fonction rend les calculs très rapides car ni la fonction ni ses dérivées n'impliquent d'opérations mathématiques complexes. Cependant, lorsque l'entrée est négative, la vitesse d'apprentissage de ReLU peut devenir très lente, voire rendre le neurone directement invalide, car l'entrée est inférieure à zéro et le gradient est nul, donc son poids ne peut pas être mis à jour et il restera silencieux pour le reste du processus de formation.

Mots apparentés : fonction d'activation

Sous-mots : pente coréenne, fonction de redresseur à fuite

Références :

【1】https://zh.wikipedia.org/wiki/Fonction de rectification linéaire

【2】https://www.jiqizhixin.com/articles/2017-10-10-3