梯度爆炸与消失产生原理与解决方法？

原因：实际上就是反向传播梯度计算过程中，网络层数很深，w值和激活函数的导数值相乘大于1或者小于1的问题，如果是大于1，那么经历过很多个隐藏层梯度就会越来越大，即梯度爆炸，如果是小于1当然就是梯度消失

梯度消失：（1）隐藏层的层数过多；（2）采用了不合适的激活函数(更容易产生梯度消失，但是也有可能产生梯度爆炸)

梯度爆炸：（1）隐藏层的层数过多；（2）权重的初始化值过大

解决梯度消失问题：

• 预训练加微调
• 梯度剪切、权重正则（针对梯度爆炸）
• 使用不同的激活函数
• 使用batchnorm
• 使用残差结构
• 使用LSTM网络