HyperAI超神经

バックプロパゲーションは、「誤差逆伝播」の略語で、人工ニューラルネットワークをトレーニングするために最適化手法と組み合わせて使用される一般的な手法です。この手法は、ネットワーク内のすべての重みに対する損失関数の勾配を計算します。

この勾配は最適化メソッドにフィードバックされ、損失関数を最小化するように重みが更新されます。

バックプロパゲーションでは、損失関数の勾配を計算するために、各入力値の既知の出力が必要です。これは、多層フィードフォワードネットワークのデルタルールを一般化したもので、バックプロパゲーションでは、人工ニューロン (または「ノード」) の活性化関数が微分可能であることが必要です。

逆伝播アルゴリズムは主に、インセンティブ伝播と重み更新の 2 つの段階で構成されます。

ステージ 1: インセンティブコミュニケーション

各反復における伝播リンクは 2 つのステップで構成されます。

(順伝播段階) トレーニング入力をネットワークにフィードして、刺激応答を取得します。

（バックプロパゲーション段階）励起応答と学習入力に対応する目標出力との差分を求め、出力層と隠れ層の応答誤差を求める。

フェーズ 2: 体重の更新

各シナプスの重みを更新するには、次の手順に従います。

入力励起誤差と応答誤差を乗算して、重みの勾配を取得します。

この勾配に比率を乗算し、反転して重みに追加します。

この比率はトレーニングプロセスの速度と効果に影響します。勾配の方向は誤差の拡大の方向を示すため、重みによって引き起こされる誤差を減らすために重みを更新するときに反転する必要があります。

段階 1 と 2 は、入力に対するネットワークの応答が十分な所定の目標範囲に達するまで繰り返し繰り返すことができます。

結果は極端な値に収束する可能性があります。最小値が 1 つだけの場合は、勾配降下の「山登り」戦略が確実に機能します。

勾配降下法では、大域最小値ではなく局所最小値を見つけることができます。

バックプロパゲーション学習から得られる収束は遅いです。

逆伝播学習の収束は保証されていません。

バックプロパゲーション学習では入力ベクトルの正規化は必要ありませんが、正規化によりパフォーマンスが向上します。

バックプロパゲーション/BP