RNN梯度消失问题,为什么LSTM和GRU可以解决此问题

RNN梯度消失问题,为什么LSTM和GRU可以解决此问题

参考回答：

RNN由于网络较深,后面层的输出误差很难影响到前面层的计算,RNN的某一单元主要受它附近单元的影响。而LSTM因为可以通过阀门记忆一些长期的信息,相应的也就保留了更多的梯度。而GRU也可通过重置和更新两个阀门保留长期的记忆,也相对解决了梯度消失的问题。