整流リニアユニット

線形補正ユニット線形整流関数としても知られる (ReLU) は、人工ニューラル ネットワークで一般的に使用される活性化関数であり、通常はランプ関数とその変形によって表される非線形関数を指します。

線形補正ユニットの特徴

より一般的に使用される ReLU には、傾き関数 f (x) = max (0, x) と漏洩整流関数 (Leaky ReLU) が含まれます。ここで、x はニューロンの入力です。

線形整流には特定の生物学的原理があると考えられており、実際には他の一般的に使用される活性化関数 (ロジスティック関数など) よりも優れた結果が得られることが多いため、画像認識などのコンピューター ビジョン人工知能における今日のディープ ニューラル ネットワークで広く使用されています。 . インテリジェントなフィールド。

ニューラル ネットワークで最も一般的に使用される活性化関数として、ReLU はステップ関数の生物学的インスピレーションを保持します (入力がしきい値を超えた場合にのみニューロンが活性化されます) が、入力が正の場合、導関数はゼロではないため、勾配が可能になります。ベースの学習 (ただし、x = 0 では導関数は未定義です)。

この関数を使用すると、関数にもその派生関数にも複雑な数学演算が含まれていないため、計算が高速になります。ただし、入力が負の値の場合、入力がゼロ未満であり、勾配がゼロであるため、重みが更新されず、ReLU の学習速度が非常に遅くなったり、ニューロンが直接無効になったりする可能性があります。トレーニングプロセス全体を通して。

関連ワード：活性化関数

子語：スロープ韓国語、漏電整流機能

参照元:

【1】https://zh.wikipedia.org/wiki/線形整流関数

【2】https://www.jiqizhixin.com/articles/2017-10-10-3