梯度爆炸问题通常出现在深层网络、权值初始化值过大的情况下，其一般随着网络层数的增加而明显。
通过对激活函数求导，若结果大于 1，那么层数增加时，最终求出的梯度更新将以指数形式增加，即发生梯度爆炸；若结果小于 1，那么层数增加的时候，最终求出的梯度更新将以指数形式衰减，即发生梯度消失。
梯度爆炸和梯度消失的原因主要是网络太深、网络权值更新不稳定，本质上是因为梯度反向传播中存在连乘效应，对于梯度消失问题，可考虑用 ReLU 激活函数取代 Sigmoid 激活函数，此外，LSTM 结构设计也可改善 RNN 中梯度消失问题。
解决梯度爆炸的方法
- 预训练加微调
- 梯度剪切、权重正则
- 使用不同的激活函数
- 使用 Batchnorm
- 使用残差结构
- 使用 LSTM 网络
参考来源
【1】神经网络训练中的梯度消失与梯度爆炸
【2】深度神经网络的梯度不稳定问题– 梯度消失与梯度爆炸
【3】详解机器学习中的梯度消失、爆炸原因及其解决方法