アクティベーション関数の定義

活性化関数は、ニューラル ネットワークのニューロン上で動作する関数であり、ニューロンの入力を出力にマッピングする役割を果たします。

これにより、ニューラル ネットワーク モデルに非線形識別機能を持たせることができ、任意非線形関数を近似します。これにより、ニューラル ネットワーク モデルを多数の非線形モデルに適用できるようになります。

この存在により、ニューラル ネットワーク モデルに非線形関数を区別する機能が与えられ、ニューラル ネットワーク モデルを多くの非線形モデルに適用することも可能になります。

アクティベーション関数のプロパティ

非線形: 線形活性化関数の場合、2 層ニューラル ネットワークはほとんどすべての関数を満たすことができますが、この条件はアイデンティティ活性化関数には当てはまりません。 MLP が ID アクティベーション関数を使用する場合、ニューラル ネットワーク全体は単層ニューラル ネットワークと同等になります。

微分可能性: 勾配ベースの最適化手法で重要な役割を果たします。 (微分可能とは、関数が全方向に微分可能であること、微分可能は微分可能以上であることを意味します)

単調性: 活性化関数が単調関数の場合、単層ネットワークは凸関数として現れます。

f(x)≈x: 活性化関数がこの式を満たす場合、初期化パラメータは小さなランダム値になり、ニューラル ネットワークの学習効率が向上しますが、この式が満たされない場合は、初期値を特別に設定する必要があります。

出力値の範囲: 活性化関数の出力値が制限されている場合、勾配ベースの最適化手法はより安定します。活性化関数の出力値が無限である場合、モデルのトレーニングはより効率的になります。

一般的に使用されるアクティベーション関数

• シグモイド
• タン
• ReLU
• マックスアウト
• エル

測定方法

通常、どの活性化関数を使用するかを測定するには、次の実験方法が使用されます。

1. 勾配を効果的に伝播できるかどうか
2. 平均が0かどうか
3. 計算消費量が非常に多いですか?

ニューラル ネットワークでは、活性化関数により、ニューロンが活性化されているかどうか、情報に価値があるかどうか、および情報を破棄すべきかどうかを決定できます。