线性修正单元 Rectified Linear Unit

线性修正单元（ReLU）, 又称线性整流函数, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

线性修正单元的特点

比较常用的 ReLU 有斜坡函数 f ( x ) = max ( 0 , x ) ，以及带泄露整流函数 ( Leaky ReLU )，其中 x 为神经元的输入。

线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激活函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。

ReLU 作为神经网络中最常用的激活函数，它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x = 0 的时候，导数是未定义的）。

使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。

相关词：激活函数

子级词：斜坡韩式，泄露整流函数

参考来源：

【1】https://zh.wikipedia.org/wiki/线性整流函数

【2】https://www.jiqizhixin.com/articles/2017-10-10-3