逻辑回归为什么使用对数损失函数

两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical

loss,svm采用的是hinge

loss这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重SVM的处理方法是只考虑support

vect。

学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的优化方法(optimization)有梯度下降法、牛顿法和拟牛顿法、共轭梯度法等等。

1 梯度下降法（Gradient Descent）

梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。 梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。

梯度下降 法的缺点：

（1）靠近极小值时收敛速度减慢;

（2）直线搜索时可能会产生一些问题；

（3）可能会“之字形”地下降。

在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

比如对一个线性回归（Linear Logistics）模型，假设下面的h(x)是要拟合的函数，J( )为损失函数， 是参数，要迭代求解的值，求解出来了那最终要拟合的函数h( )就出来了。其中m是训练集的样本个数，n是特征的个数。

1）批量梯度下降法（Batch Gradient Descent，BGD）

（1）将J( )对 求偏导，得到每个theta对应的的梯度：

(2）由于是要最小化风险函数，所以按每个参数 的梯度负方向，来更新每个 ：

        （3）从上面公式可以注意到，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果m很大，那么可想而知这种方法的迭代速度会相当的慢。所以，这就引入了另外一种方法——随机梯度下降。

　对于批量梯度下降法，样本个数m，x为n维向量，一次迭代需要把m个样本全部带入计算，迭代一次计算量为mn2。

2）随机梯度下降（Stochastic Gradient Descent，SGD）

        （1）上面的风险函数可以写成如下这种形式，损失函数对应的是训练集中每个样本的粒度，而上面批量梯度下降对应的是所有的训练样本：

（2）每个样本的损失函数，对 求偏导得到对应梯度，来更新 ：

（3）随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将

迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。

随机梯度下降每次迭代只使用一个样本，迭代一次计算量为n2，当样本个数m很大的时候，随机梯度下降迭代一次的速度要远高于批量梯度下降方法。 两者的关系可以这样理解：随机梯度下降方法以损失很小的一部分精确度和增加一定数量的迭代次数为代价，换取了总体的优化效率的提升。增加的迭代次数远远小于样本的数量。

对批量梯度下降法和随机梯度下降法的总结：

批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。

随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。

2 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）

1）牛顿法（Newton's method）

牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数 f  ( x )的泰勒级数的前面几项来寻找方程 f  ( x ) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。

具体步骤：

首先，选择一个接近函数 f  ( x )零点的x0，计算相应的 f  ( x 0)和切线斜率 f  '  ( x 0)（这里 f '  表示函数 f   的导数）。然后我们计算穿过点( x 0, f   ( x 0))并且斜率为 f  '( x 0)的直线和 x  轴的交点的 x 坐标，也就是求如下方程的解：

我们将新求得的点的 x  坐标命名为 x 1，通常 x 1会比 x 0更接近方程 f   ( x ) = 0的解。因此我们现在可以利用 x 1开始下一轮迭代。迭代公式可化简为如下所示：

已经证明，如果 f   '是连续的，并且待求的零点 x 是孤立的，那么在零点 x 周围存在一个区域，只要初始值 x 0位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果 f   ' ( x )不为0, 那么牛顿法将具有平方收敛的性能 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。下图为一个牛顿法执行过程的例子。

　由于牛顿法是基于当前位置的切线来确定下一次的位置，所以牛顿法又被很形象地称为是"切线法"。

关于牛顿法和梯度下降法的效率对比：

从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）

根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。

注：红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。

牛顿法的优缺点总结：

优点：二阶收敛，收敛速度快；

缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

2）拟牛顿法（Quasi-Newton Methods）

　拟牛顿法是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家WCDavidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R Fletcher和M J D Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。

拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。 拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。

具体步骤：

　拟牛顿法的基本思想如下。首先构造目标函数在当前迭代xk的二次模型：

这里Bk是一个对称正定矩阵，于是我们取这个二次模型的最优解作为搜索方向，并且得到新的迭代点：

其中我们要求步长ak 满足Wolfe条件。这样的迭代与牛顿法类似，区别就在于用近似的Hesse矩阵Bk 代替真实的Hesse矩阵。所以拟牛顿法最关键的地方就是每一步迭代中矩阵Bk的更新。现在假设得到一个新的迭代xk+1，并得到一个新的二次模型：

我们尽可能地利用上一步的信息来选取Bk。具体地，我们要求

从而得到

这个公式被称为割线方程。常用的拟牛顿法有DFP算法和BFGS算法。

原文链接： [Math] 常见的几种最优化方法 - Poll的笔记 - 博客园

两种都见类算,目标函数看,区别于逻辑归采用logistical loss,svm采用hinge loss两损失函数目都增加类影响较数据点权重,减少与类关系较数据点权重SVM处理考虑support vectors,类相关少数点,习类器逻辑归通非线性映射,减离类平面较远点权重,相提升与类相关数据点权重两者根本目都外,根据需要,两都增加同则化项,l1,l2等等所实验,两种算结接近

逻辑归相说模型更简单,理解,实现起,特别规模线性类比较便SVM理解优化相说复杂些SVM理论基础更加牢固,套结构化风险化理论基础,虽般使用太关注重要点,SVM转化偶问题,类需要计算与少数几支持向量距离,进行复杂核函数计算优势明显,能够简化模型计算

svm 更属于非参数模型,logistic regression 参数模型,本质同其区别参考参数模型非参模型区别

logic 能做 svm能做,能准确率问题,svm能做logic做

机器学习三要素：模型,策略与算法

模型、策略、算法可以总结为机器学习方法的提纲挈领。

模型

模型的确定主要明确自定义的预测函数长什么样子，存在两种形式P（Y|X）和y=f（x），而由于在这两个公式中必不可少的存在未知参数ceta，而且一定不止一个，因此在ceta不确定的情况下，公式均表现为各类的集合。由此，我们求解出公式中的未知参数确定下来最后的公式，并用该公式进行预测。

策略

在明确模型的样式后，我们就需要利用已知的数据对未知参数探索，我们该如何进行呢？首先我们知道，无论是训练数据还是测试数据，最终都希望通过公式能预测到和真实情况一样的结果，事实上肯定是可能一模一样的，也就会一定存在误差，我们可称为损失，那么就引入损失函数，利用损失最小来求未知参数。

常见损失函数：

0-1损失函数

平方损失函数

绝对损失函数

对数损失函数

对数似然损失函数

算法

对于求解最小值，未知参数求一阶导数并令导数试等于0。

机器学习中常用的算法有以下两种：

最小二乘法：针对线性模型！

梯度下降、上升法（批梯度、增量梯度）：针对任意模！

链接

这是个好问题！先来解释一下题目。我觉得题目问的是：为什么 CTC 在输出一个非空音素（如 a）的时候，倾向于只在一帧给 a 一个高概率，而不是在 a 持续的整个时间段上都给 a 一个高概率？

我们来考虑这样一个例子：有一个音素持续了 3 帧，CTC 认为这个音素是 a。CTC 有两种方法来表达它的观点：

上面两种方法中，各帧各个音素的概率简洁表示如下：

上面说了，「CTC 认为这个音素是 a」，那么这个音素实际上（ground truth）是什么呢？我们考虑三种常见情况：

当 ground truth 就是 a 的时候，可以按下式计算 ground truth 的概率：

P(a) = P(a--) + P(-a-) + P(--a) + P(aa-) + P(-aa) + P(aaa)

对于尖峰法来说，比较大的项只有 P(-a-) 一项；对于高原法来说，比较大的项只有 P(aaa) 一项。

精确计算表明，两种方法的 P(a) 是相等的（都等于 074547），于是损失函数 -log P(a) 也相等。

这说明，尖峰法和高原法在 CTC 不犯错误的时候，损失函数是一样的，CTC 并没有理由偏向某一种。

当 ground truth 是 b 的时候，可以按下式计算 ground truth 的概率：

P(b) = P(b--) + P(-b-) + P(--b) + P(bb-) + P(-bb) + P(bbb)

对于尖峰法，P(b) = 0008461；对于高原法，P(b) = 0000006。

虽然两种方法得到的 P(b) 都很低，但尖峰法的 P(b) 还是远高于高原法的，于是尖峰法的损失函数 -log P(b) 就小很多。

当 ground truth 为空串的时候，ground truth 的概率就是 P(---)。

对于尖峰法，P(---) = 00081；对于高原法，P(---) = 0000001。

同样地，虽然两种方法下 ground truth 的概率都很低，但尖峰法给出的概率还是远高于高原法，于是尖峰法的损失就小很多。

综合起来看，在 CTC 不犯错的时候，高原法相对于尖峰法并没有优势；但在 CTC 犯替换或插入错误的时候，高原法就要为自己的「盲目自信」付出更大的代价。所以实际的 CTC 就会选择比较谨慎的「尖峰法」了。