梯度下降算法的正确步骤是什么?

1、用随机值初始化权重和偏差。

2、把输入传入网络，得到输出值。

3、计算预测值和真实值之间的误差。

4、对每一个产生误差的神经元，调整相应的（权重）值以减小误差。

5、重复迭代，直至得到网络权重的最佳值。

梯度下降法，它是解亮搜和析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的敬盯基础。作为一种基本的算法，他在最优化方法中占有重要地位漏顷。其优点是工作量少，存储变量较少，初始点要求不高。其缺点是收敛慢，效率不高，有时达不到最优解。

第一步，测量系统当前的像质评价函数值；

第二步，对控制参量 施加扰动 ，随机生成扰动向量，各扰动向量相互独立且同为伯努利分布；

第三步，保持控制参量的扰动状态，测量此时系统的像质评价函隐旅数值；

第四步，计算像质评价函数值的改变量，并按迭代灶握凳公式对控制参量的取值进行修正；下图为随机并行梯度下降算法的迭代公式。

在进行梯度估计时，可使用双边扰动来提高梯度估计的精度。也就是分别对控制电压参量 施加一次正向扰动和负向扰动，并测量两次扰动后的像质评价函数值的改变量作为性能指标皮唯梯度估计。在实际应用中，如使目标函数向极大方向优化，μ取负值；反之，μ取正。算法流程图如下图所示