勾配消失問題これは主に、人工ニューラル ネットワークをトレーニングするために勾配降下法とバックプロパゲーションを使用する場合に現れます。このタイプのトレーニング法の反復では、ニューラル ネットワークの重みの更新値は誤差関数の勾配に比例しますが、勾配値は比例します。そのため、重みを効果的に更新できず、ニューラル ネットワークのトレーニングを続行できません。

双曲線正接関数などの従来の活性化関数では、勾配値は (0, 1) の範囲内にありますが、バックプロパゲーションでは連鎖規則を通じて勾配を計算します。この方法で前の層の勾配を計算すると、それは等価になります。数値を乗算すると、勾配が N とともに指数関数的に減少し、その結果、前の層のトレーニングが遅くなります。