如何解决梯度消失和梯度膨胀？

梯度消失：根据链式法则，当每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，经过多层传播之后，误差的输入层的偏导会趋于0，可以用relu激活函数来解决，因为relu=max（0，X），偏导数为1，不会造成梯度消失，而弊端是有可能会产生死神经元

梯度膨胀：每一层神经元对上一层的输出偏导乘上权重结果都大于1的话，经过多层传播之后，误差对输入层的偏导会无穷大，也可以通过激活函数来解决