为什么要进行梯度累加

为什么要进行梯度累加,第1张

为什么要进行梯度累加 一个解决内存受限的训练技巧
  1. 训练神经网络的时候,batch size越大,模型往往越稳定。但在计算需求量大而显存不足的情况下,为保证理想的batch size,就可采取梯度累加(Gradient Accumulation)技术,对同一批次分割计算损失求梯度,将无法一次性放入显存的批次分成几部分分别放入计算。由于
    ∂ L ∂ θ = ∂ ∑ i L i ∂ θ = ∑ i ∂ L i ∂ θ , \frac{\partial L}{\partial\theta} = \frac{\partial \sum_i L_i}{\partial\theta} = \sum_i \frac{\partial L_i}{\partial\theta}, θL=θiLi=iθLi,
    该方法可以保证梯度计算结果不变。
  2. 在梯度累加方法下,梯度更新的次数不变,但总训练步数(模型计算的次数)会乘以gradient_accumulation_steps。
  3. 在Pytorch中的实现就是,在训练达到累加步数后,再更新参数并清空梯度。注意: 此时的实际的训练batch size相当于batch_size参数*gradient_accumulation_steps,即实现了大批次的效果。这种 *** 作同样可以达到Multi-task训练减少计算图的效果。
  4. 代码示例可参考https://www.cnblogs.com/sddai/p/14598018.html

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/langs/873819.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-13
下一篇 2022-05-13

发表评论

登录后才能评论

评论列表(0条)

保存