アクティベーション関数アクティベーション関数
アクティベーション関数の定義
活性化関数は、ニューラル ネットワークのニューロン上で動作する関数であり、ニューロンの入力を出力にマッピングする役割を果たします。
これにより、ニューラル ネットワーク モデルに非線形識別機能を持たせることができ、任意非線形関数を近似します。これにより、ニューラル ネットワーク モデルを多数の非線形モデルに適用できるようになります。
この存在により、ニューラル ネットワーク モデルに非線形関数を区別する機能が与えられ、ニューラル ネットワーク モデルを多くの非線形モデルに適用することも可能になります。
アクティベーション関数のプロパティ
非線形: 線形活性化関数の場合、2 層ニューラル ネットワークはほとんどすべての関数を満たすことができますが、この条件はアイデンティティ活性化関数には当てはまりません。 MLP が ID アクティベーション関数を使用する場合、ニューラル ネットワーク全体は単層ニューラル ネットワークと同等になります。
微分可能性: 勾配ベースの最適化手法で重要な役割を果たします。 (微分可能とは、関数が全方向に微分可能であること、微分可能は微分可能以上であることを意味します)
単調性: 活性化関数が単調関数の場合、単層ネットワークは凸関数として現れます。
f(x)≈x: 活性化関数がこの式を満たす場合、初期化パラメータは小さなランダム値になり、ニューラル ネットワークの学習効率が向上しますが、この式が満たされない場合は、初期値を特別に設定する必要があります。
出力値の範囲: 活性化関数の出力値が制限されている場合、勾配ベースの最適化手法はより安定します。活性化関数の出力値が無限である場合、モデルのトレーニングはより効率的になります。
一般的に使用されるアクティベーション関数
- シグモイド
- タン
- ReLU
- マックスアウト
- エル
測定方法
通常、どの活性化関数を使用するかを測定するには、次の実験方法が使用されます。
- 勾配を効果的に伝播できるかどうか
- 平均が0かどうか
- 計算消費量が非常に多いですか?
ニューラル ネットワークでは、活性化関数により、ニューロンが活性化されているかどうか、情報に価値があるかどうか、および情報を破棄すべきかどうかを決定できます。