HyperAI超神经

挤压函数 Squashing Function

挤压函数是将大范围输入挤压到较小区间的函数,通常被用于做激活函数,主要有 Sigmoid 函数和 TANH 双曲正切函数两种。

其中 Sigmoid 函数是一种常见的挤压函数,可将较大范围的输入挤压到 (0,1) 区间内,其函数表达式和形状如下:

TAHN 双曲正切函数是 Sigmoid 函数的变体,其取值范围在 [ -1 , 1 ],定义域为 R,其同为挤压函数的一种。