训练神经网络的五大算法

 

神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。

 

问题的抽象
人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正则项则是控制模型的复杂程度，防止出现过拟合现象。

损失函数的函数值由模型的参数（权重值和偏置值）所决定。我们可以把两部分参数合并为一个n维的权重向量，记为w。下图是损失函数f(w)的图示。

 

如上图所示，w*是损失函数的最小值。在空间内任意选择一个点A，我们都能计算得到损失函数的一阶、二阶导数。一阶导数可以表示为一个向量：

ᐁif(w) = df/dwi (i = 1,…,n)

同样的，损失函数的二阶导数可以表示为海森矩阵（ Hessian Matrix ）：

Hi,jf(w) = d2f/dwi·dwj (i,j = 1,…,n)

多变量的连续可微分函数的求解问题一直被人们广泛地研究。许多的传统方法都能被直接用于神经网络模型的求解。

一维优化方法
尽管损失函数的值需要由多个参数决定，但是一维优化方法在这里也非常重要。这些方法常常用于训练神经网络模型。

许多训练算法首先计算得到一个训练的方向d，以及速率η来表示损失值在此方向上的变化，f(η)。下图片展示了这种一维函数。

 

f和η*在η1和η2所在的区间之内。

由此可见，一维优化方法就是寻找到某个给定的一维函数的最小值。黄金分段法和Brent方法就是其中两种广泛应用的算法。这两种算法不断地缩减最小值的范围，直到η1和η2两点之间的距离小于设定的阈值。

多维优化方法
我们把神经网络的学习问题抽象为寻找参数向量w*的问题，使得损失函数f在此点取到最小值。假设我们找到了损失函数的最小值点，那么就认为神经网络函数在此处的梯度等于零。

通常情况下，损失函数属于非线性函数，我们很难用训练算法准确地求得最优解。因此，我们尝试在参数空间内逐步搜索，来寻找最优解。每搜索一步，重新计算神经网络模型的参数，损失值则相应地减小。

我们先随机初始化一组模型参数。接着，每次迭代更新这组参数，损失函数值也随之减小。当某个特定条件或是终止条件得到满足时，整个训练过程即结束。

现在我们就来介绍几种神经网络的最重要训练算法。

 

1. 梯度下降法（Gradient descent）

梯度下降方法是最简单的训练算法。它仅需要用到梯度向量的信息，因此属于一阶算法。

我们定义f(wi) = fiand ᐁf(wi) = gi。算法起始于W0点，然后在第i步沿着di= -gi方向从wi移到wi+1，反复迭代直到满足终止条件。梯度下降算法的迭代公式为：

wi+1 = wi- di·ηi, i=0,1,…

参数η是学习率。这个参数既可以设置为固定值，也可以用一维优化方法沿着训练的方向逐步更新计算。人们一般倾向于逐步更新计算学习率，但很多软件和工具仍旧使用固定的学习率。

下图是梯度下降训练方法的流程图。如图所示，参数的更新分为两步：第一步计算梯度下降的方向，第二步计算合适的学习率。

 

梯度下降方法有一个严重的弊端，若函数的梯度变化如图所示呈现出细长的结构时，该方法需要进行很多次迭代运算。而且，尽管梯度下降的方向就是损失函数值减小最快的方向，但是这并不一定是收敛最快的路径。下图描述了此问题。

 

当神经网络模型非常庞大、包含上千个参数时，梯度下降方法是我们推荐的算法。因为此方法仅需要存储梯度向量（n空间），而不需要存储海森矩阵（n2空间）