梯度下降法是什么

梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最陡下降法。

要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

梯度下降一般归功于柯西，他在 1847 年首次提出它。Hadamard在 1907 年独立提出了类似的方法。Haskell Curry在 1944 年首先研究了它对非线性优化问题的收敛性，随着该方法在接下来的几十年中得到越来越多的研究和使用，通常也称为最速下降。

梯度下降适用于任意维数的空间，甚至是无限维的空间。在后一种情况下，搜索空间通常是一个函数空间，并且计算要最小化的函数的Fréchet 导数以确定下降方向。

梯度下降适用于任意数量的维度（至少是有限数量）可以看作是柯西-施瓦茨不等式的结果。那篇文章证明了任意维度的两个向量的内（点）积的大小在它们共线时最大化。在梯度下降的情况下，当自变量调整的向量与偏导数的梯度向量成正比时。

修改

为了打破梯度下降的锯齿形模式，动量或重球方法使用动量项，类似于重球在被最小化的函数值的表面上滑动，或牛顿动力学中的质量运动在保守力场中通过粘性介质。具有动量的梯度下降记住每次迭代时的解更新，并将下一次更新确定为梯度和前一次更新的线性组合。

对于无约束二次极小化，重球法的理论收敛速度界与最优共轭梯度法的理论收敛速度界渐近相同。

该技术用于随机梯度下降，并作为用于训练人工神经网络的反向传播算法的扩展。

梯度下降法的介绍如下：

定义

梯度下降法（Gradient descent，简称GD）是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。

用途

梯度下降法是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法和最小二乘法是最常采用的方法。在求解损失函数的最小值时，可以通过梯度下降法来迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种常用梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

原理

在当前位置求偏导，即梯度，正常的梯度方向类似于上山的方向，是使值函数增大的，下山最快需使最小，从负梯度求最小值，这就是梯度下降。梯度上升是直接求偏导，梯度下降则是梯度上升的负值。由于不知道怎么下山，于是需要走一步算一步，继续求解当前位置的偏导数。这样一步步的走下去，当走到了最低点，此时我们能得到一个近似最优解。

在当前位置求偏导，即梯度，正常的梯度方向类似于上山的方向，是使值函数增大的，下山最快需使最小，从负梯度求最小值，这就是梯度下降。梯度上升是直接求偏导，梯度下降则是梯度上升的负值。由于不知道怎么下山，于是需要走一步算一步，继续求解当前位置的偏导数。这样一步步的走下去，当走到了最低点，此时我们能得到一个近似最优解。

可以看出梯度下降有时得到的是局部最优解，如果损失函数是凸函数，梯度下降法得到的解就是全局最优解。

批量梯度下降法（batch gradient decent）就是我们平时所说的梯度下降，也就是梯度下降过程中，每次更新使用了所有的训练数据，最小化损失函数，找到局部最小值。

当样本量很大的时候，那么更新速度会变慢。假如每次我们只取一个样本更新，这样速度就会快很多。我们每次只取一行样本计算，当成是搜索的方向。

如上图所示，由于不能保证每次得到的方向是损失函数减小的方向，所以搜索路径是曲折的。即使如此，我们通常可以找到损失函数最小值的附近。但是样本总量m非常大时，我们原因用一定的精度换取更少的时间。

(随机梯度下降法是收敛的，θ每次都朝着让一个样本的损失函数损失最小的方向迈进一步，最终达到最小值。)

在之前的批量梯度下降中，学习率是个固定值。但是在随机梯度下降中，假如当快到最小值时，由于每次样本是随机的，那么可能又会跳出最小值。因此我们可以设定随着循环的增加，学习率逐渐减小（如上图右侧所示，a与b就是随机梯度下降的超参数）。

以上就是关于梯度下降法是什么全部的内容，包括:梯度下降法是什么、梯度下降法、随机梯度下降法与批量梯度下降法的区别等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！