勾配爆発問題これは通常、深いネットワークで発生し、重みの初期化値が大きすぎる場合、一般にネットワーク層の数が増加するにつれてより顕著になります。
活性化関数を導出することで、結果が 1 より大きい場合、層の数が増加すると、最終的な勾配の更新は指数関数的に増加します。つまり、結果が 1 より小さい場合、層の数が増加すると、勾配の爆発が発生します。レイヤーが増加すると、最終的なグラデーションの更新は次のようになります。グラデーションの更新は指数関数的に減衰します。つまり、グラデーションが消えます。
勾配爆発と勾配消失の主な理由は、ネットワークが深すぎることと、ネットワークの重みの更新が不安定であることです。本質的に、勾配消失の問題については、ReLU 活性化関数が原因である可能性があります。さらに、LSTM 構造設計は、RNN の勾配消失問題も改善できます。
爆発する勾配を解決する方法
- 事前トレーニングと微調整
- 勾配シアリング、重みの正規化
- さまざまな活性化関数を使用する
- BatchNorm の使用
- 残留構造を使用する
- LSTMネットワークを使用する
参考文献
【1】ニューラル ネットワーク トレーニングにおける勾配消失と勾配爆発
【2】ディープ ニューラル ネットワークにおける勾配の不安定性の問題 – 勾配の消失と勾配の爆発
【3】機械学習における勾配消失と爆発の原因と解決策を詳しく解説