概率矩阵分解的损失函数为多少比较正常

概率矩阵分解的损失函数一般为交叉熵损失、平方损失和KL散度损失，其中KL散度损失是最小化KL散度作为优化目标，因此效果最好，而交叉熵损失和平方损失之间的差异不大，但是从计算效率上来说，交叉熵损失有优势。

GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。

GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。

GBDT主要由三个概念组成：Regression Decistion Tree（即DT)，Gradient Boosting（即GB)，Shrinkage (算法的一个重要演进分枝，目前大部分源码都按该版本实现）。搞定这三个概念后就能明白GBDT是如何工作的。

提起决策树（DT, Decision Tree) 绝大部分人首先想到的就是C45分类决策树。但如果一开始就把GBDT中的树想成分类树，那就错了。千万不要以为GBDT是很多棵分类树。决策树分为两大类，回归树和分类树。前者用于预测实数值，如明天的温度、用户的年龄、网页的相关程度；后者用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面。这里要强调的是，前者的结果加减是有意义的，如10岁+5岁-3岁=12岁，后者则无意义，如男+男+女=到底是男是女？GBDT的核心在于累加所有树的结果作为最终结果，就像前面对年龄的累加（-3是加负3），而分类树的结果显然是没办法累加的，所以 GBDT中的树都是回归树，不是分类树 ，这点对理解GBDT相当重要（尽管GBDT调整后也可用于分类但不代表GBDT的树是分类树）。

回归树总体流程类似于分类树，区别在于，回归树的每一个节点都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化平方误差。也就是被预测出错的人数越多，错的越离谱，平方误差就越大，通过最小化平方误差能够找到最可靠的分枝依据。分枝直到每个叶子节点上人的年龄都唯一或者达到预设的终止条件(如叶子个数上限)， 若最终叶子节点上人的年龄不唯一，则以该节点上所有人的平均年龄做为该叶子节点的预测年龄。

回归树算法如下图（截图来自《统计学习方法》551 CART生成）：

梯度提升（Gradient boosting）是一种用于回归、分类和排序任务的机器学习技术 [1] ，属于Boosting算法族的一部分。Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。通俗地说，就是“三个臭皮匠顶个诸葛亮”的道理。梯度提升同其他boosting方法一样，通过集成（ensemble）多个弱学习器，通常是决策树，来构建最终的预测模型。

Boosting、bagging和stacking是集成学习的三种主要方法。不同于bagging方法，boosting方法通过分步迭代（stage-wise）的方式来构建模型，在迭代的每一步构建的弱学习器都是为了弥补已有模型的不足。Boosting族算法的著名代表是AdaBoost，AdaBoost算法通过给已有模型预测错误的样本更高的权重，使得先前的学习器做错的训练样本在后续受到更多的关注的方式来弥补已有模型的不足。与AdaBoost算法不同，梯度提升方法在迭代的每一步构建一个能够沿着梯度最陡的方向降低损失（steepest-descent）的学习器来弥补已有模型的不足。经典的AdaBoost算法只能处理采用指数损失函数的二分类学习任务 [2] ，而梯度提升方法通过设置不同的可微损失函数可以处理各类学习任务（多分类、回归、Ranking等），应用范围大大扩展。另一方面，AdaBoost算法对异常点（outlier）比较敏感，而梯度提升算法通过引入bagging思想、加入正则项等方法能够有效地抵御训练数据中的噪音，具有更好的健壮性。这也是为什么梯度提升算法（尤其是采用决策树作为弱学习器的GBDT算法）如此流行的原因，

提升树是迭代多棵回归树来共同决策。当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的意义如公式：残差 = 真实值 - 预测值 。提升树即是整个迭代过程生成的回归树的累加。 GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。

提升树利用 加法模型和前向分步算法 实现学习的优化过程。当损失函数时平方损失和指数损失函数时，每一步的优化很简单，如平方损失函数学习残差回归树。

提升方法其实是一个比adaboost概念更大的算法，因为adaboost可以表示为boosting的前向分布算法(Forward stagewise additive modeling)的一个特例，boosting最终可以表示为：

其中的w是权重，Φ是弱分类器(回归器)的集合,其实就是一个加法模型(即基函数的线性组合)

前向分布算法 实际上是一个贪心的算法，也就是在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求好的分类器和参数：

OK，这也就是提升方法（之前向分布算法）的大致结构了，可以看到其中存在变数的部分其实就是极小化损失函数 这关键的一步了，如何选择损失函数决定了算法的最终效果(名字)……这一步你可以看出算法的“趋势”，以后再单独把“趋势”拿出来说吧，因为我感觉理解算法的关键之一就是理解算法公式的“趋势”

不同的损失函数和极小化损失函数方法决定了boosting的最终效果，我们现在来说几个常见的boosting：

广义上来讲，所谓的Gradient Boosting 其实就是在更新的时候选择梯度下降的方向来保证最后的结果最好，一些书上讲的“残差” 方法其实就是L2Boosting吧，因为它所定义的残差其实就是L2Boosting的Derivative，接下来我们着重讲一下弱回归器(不知道叫啥了，自己编的)是决策树的情况，也就是GBDT。

GBDT算法可以看成是由K棵树组成的加法模型：

解这一优化问题，可以用前向分布算法（forward stagewise algorithm）。因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数（结构），逐步逼近优化目标函数，那么就可以简化复杂度。这一学习过程称之为Boosting。具体地，我们从一个常量预测开始，每次学习一个新的函数，过程如下：

举个例子，参考自一篇博客, 该博客举出的例子较直观地展现出多棵决策树线性求和过程以及残差的意义。

还是年龄预测，简单起见训练集只有4个人，A,B,C,D，他们的年龄分别是14,16,24,26。其中A、B分别是高一和高三学生；C,D分别是应届毕业生和工作两年的员工。如果是用一棵传统的回归决策树来训练，会得到如下图1所示结果：

现在我们使用GBDT来做这件事，由于数据太少，我们限定叶子节点做多有两个，即每棵树都只有一个分枝，并且限定只学两棵树。我们会得到如下图2所示结果：

在第一棵树分枝和图1一样，由于A,B年龄较为相近，C,D年龄较为相近，他们被分为两拨，每拨用平均年龄作为预测值。此时计算残差 （残差的意思就是： A的预测值 + A的残差 = A的实际值） ，所以A的残差就是16-15=1（注意，A的预测值是指前面所有树累加的和，这里前面只有一棵树所以直接是15，如果还有树则需要都累加起来作为A的预测值）。进而得到A,B,C,D的残差分别为-1,1，-1,1。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。这里的数据显然是我可以做的，第二棵树只有两个值1和-1，直接分成两个节点。此时所有人的残差都是0，即每个人都得到了真实的预测值。

换句话说，现在A,B,C,D的预测值都和真实年龄一致了。Perfect!：

A: 14岁高一学生，购物较少，经常问学长问题；预测年龄A = 15 – 1 = 14

B: 16岁高三学生；购物较少，经常被学弟问问题；预测年龄B = 15 + 1 = 16

C: 24岁应届毕业生；购物较多，经常问师兄问题；预测年龄C = 25 – 1 = 24

D: 26岁工作两年员工；购物较多，经常被师弟问问题；预测年龄D = 25 + 1 = 26

那么哪里体现了Gradient呢？其实回到第一棵树结束时想一想，无论此时的cost function是什么，是均方差还是均差，只要它以误差作为衡量标准，残差向量(-1, 1, -1, 1)都是它的全局最优方向，这就是Gradient。

讲到这里我们已经把GBDT最核心的概念、运算过程讲完了！没错就是这么简单。

该例子很直观的能看到，预测值等于所有树值得累加，如A的预测值 = 树1左节点 值 15 + 树2左节点 -1 = 14。

因此，给定当前模型 fm-1(x)，只需要简单的拟合当前模型的残差。现将回归问题的提升树算法叙述如下：

答案是过拟合。过拟合是指为了让训练集精度更高，学到了很多”仅在训练集上成立的规律“，导致换一个数据集当前规律就不适用了。其实只要允许一棵树的叶子节点足够多，训练集总是能训练到100%准确率的（大不了最后一个叶子上只有一个instance)。在训练精度和实际精度（或测试精度）之间，后者才是我们想要真正得到的。

我们发现图1为了达到100%精度使用了3个feature（上网时长、时段、网购金额），其中分枝“上网时长>11h” 很显然已经过拟合了，这个数据集上A,B也许恰好A每天上网109h, B上网105小时，但用上网时间是不是>11小时来判断所有人的年龄很显然是有悖常识的；

相对来说图2的boosting虽然用了两棵树 ，但其实只用了2个feature就搞定了，后一个feature是问答比例，显然图2的依据更靠谱。（当然，这里是LZ故意做的数据，所以才能靠谱得如此狗血。实际中靠谱不靠谱总是相对的） Boosting的最大好处在于，每一步的残差计算其实变相地增大了分错instance的权重，而已经分对的instance则都趋向于0。这样后面的树就能越来越专注那些前面被分错的instance。就像我们做互联网，总是先解决60%用户的需求凑合着，再解决35%用户的需求，最后才关注那5%人的需求，这样就能逐渐把产品做好，因为不同类型用户需求可能完全不同，需要分别独立分析。如果反过来做，或者刚上来就一定要做到尽善尽美，往往最终会竹篮打水一场空。

Shrinkage（缩减）的思想认为，每次走一小步逐渐逼近结果的效果，要比每次迈一大步很快逼近结果的方式更容易避免过拟合。即它不完全信任每一个棵残差树，它认为每棵树只学到了真理的一小部分，累加的时候只累加一小部分，通过多学几棵树弥补不足。用方程来看更清晰，即

没用Shrinkage时：（yi表示第i棵树上y的预测值， y(1~i)表示前i棵树y的综合预测值）

y(i+1) = 残差(y1~yi)， 其中： 残差(y1~yi) = y真实值 - y(1 ~ i)

y(1 ~ i) = SUM(y1, , yi)

Shrinkage不改变第一个方程，只把第二个方程改为：

y(1 ~ i) = y(1 ~ i-1) + step yi

即Shrinkage仍然以残差作为学习目标，但对于残差学习出来的结果，只累加一小部分（step 残差）逐步逼近目标，step一般都比较小，如001~0001（注意该step非gradient的step），导致各个树的残差是渐变的而不是陡变的。直觉上这也很好理解，不像直接用残差一步修复误差，而是只修复一点点，其实就是把大步切成了很多小步。 本质上，Shrinkage为每棵树设置了一个weight，累加时要乘以这个weight，但和Gradient并没有关系 。 这个weight就是step。就像Adaboost一样，Shrinkage能减少过拟合发生也是经验证明的，目前还没有看到从理论的证明。

该版本GBDT几乎可用于所有回归问题（线性/非线性），相对logistic regression仅能用于线性回归，GBDT的适用面非常广。亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）。

参考资料：

http://blogcsdnnet/w28971023/article/details/8240756

http://blogcsdnnet/dark_scope/article/details/24863289

https://wwwjianshucom/p/005a4e6ac775

https://wwwzybuluocom/yxd/note/611571

GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。

  GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。

  GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。业界中，Facebook使用其来自动发现有效的特征、特征组合，来作为LR模型中的特征，以提高 CTR预估（Click-Through Rate Prediction）的准确性（详见参考文献5、6）；GBDT在淘宝的搜索及预测业务上也发挥了重要作用（详见参考文献7）。

回归树总体流程类似于分类树，区别在于，回归树的每一个节点都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化平方误差。也就是被预测出错的人数越多，错的越离谱，平方误差就越大，通过最小化平方误差能够找到最可靠的分枝依据。分枝直到每个叶子节点上人的年龄都唯一或者达到预设的终止条件(如叶子个数上限)，若最终叶子节点上人的年龄不唯一，则以该节点上所有人的平均年龄做为该叶子节点的预测年龄。（引用自一篇博客，详见参考文献3）

  回归树算法如下图（截图来自《统计学习方法》551 CART生成）：

提升树是迭代多棵回归树来共同决策。当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的意义如公式：残差 = 真实值 - 预测值 。提升树即是整个迭代过程生成的回归树的累加。

  举个例子，参考自一篇博客（参考文献 4），该博客举出的例子较直观地展现出多棵决策树线性求和过程以及残差的意义。

  训练一个提升树模型来预测年龄：

  训练集是4个人，A，B，C，D年龄分别是14，16，24，26。样本中有购物金额、上网时长、经常到提问等特征。提升树的过程如下：

该例子很直观的能看到，预测值等于所有树值得累加，如A的预测值 = 树1左节点 值 15 + 树2左节点 -1 = 14。

  因此，给定当前模型 fm-1(x)，只需要简单的拟合当前模型的残差。现将回归问题的提升树算法叙述如下：

提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数时平方损失和指数损失函数时，每一步的优化很简单，如平方损失函数学习残差回归树。

  但对于一般的损失函数，往往每一步优化没那么容易，如上图中的绝对值损失函数和Huber损失函数。针对这一问题，Freidman提出了梯度提升算法：利用最速下降的近似方法，即利用损失函数的负梯度在当前模型的值，作为回归问题中提升树算法的残差的近似值，拟合一个回归树。（注：鄙人私以为，与其说负梯度作为残差的近似值，不如说残差是负梯度的一种特例）算法如下（截图来自《The Elements of Statistical Learning》）：

算法步骤解释：

推荐GBDT树的深度：6；（横向比较：DecisionTree/RandomForest需要把树的深度调到15或更高）

  以下摘自知乎上的一个问答（详见参考文献8），问题和回复都很好的阐述了这个参数设置的数学原理。

  问xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度？

  用xgboost/gbdt在在调参的时候把树的最大深度调成6就有很高的精度了。但是用DecisionTree/RandomForest的时候需要把树的深度调到15或更高。用RandomForest所需要的树的深度和DecisionTree一样我能理解，因为它是用bagging的方法把DecisionTree组合在一起，相当于做了多次DecisionTree一样。但是xgboost/gbdt仅仅用梯度上升法就能用6个节点的深度达到很高的预测精度，使我惊讶到怀疑它是黑科技了。请问下xgboost/gbdt是怎么做到的？它的节点和一般的DecisionTree不同吗？

  答

  这是一个非常好的问题，题主对各算法的学习非常细致透彻，问的问题也关系到这两个算法的本质。这个问题其实并不是一个很简单的问题，我尝试用我浅薄的机器学习知识对这个问题进行回答。

  一句话的解释，来自周志华老师的机器学习教科书（ 机器学习-周志华）：Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成；Bagging主要关注降低方差，因此它在不剪枝的决策树、神经网络等学习器上效用更为明显。

  随机森林(random forest)和GBDT都是属于集成学习（ensemble learning)的范畴。集成学习下有两个重要的策略Bagging和Boosting。

  Bagging算法是这样做的：每个分类器都随机从原样本中做有放回的采样，然后分别在这些采样后的样本上训练分类器，然后再把这些分类器组合起来。简单的多数投票一般就可以。其代表算法是随机森林。Boosting的意思是这样，他通过迭代地训练一系列的分类器，每个分类器采用的样本分布都和上一轮的学习结果有关。其代表算法是AdaBoost, GBDT。

  其实就机器学习算法来说，其泛化误差可以分解为两部分，偏差（bias)和方差(variance)。这个可由下图的式子导出（这里用到了概率论公式D(X)=E(X 2)-[E(X)] 2）。偏差指的是算法的期望预测与真实预测之间的偏差程度，反应了模型本身的拟合能力；方差度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。这个有点儿绕，不过你一定知道过拟合。

  如下图所示，当模型越复杂时，拟合的程度就越高，模型的训练偏差就越小。但此时如果换一组数据可能模型的变化就会很大，即模型的方差很大。所以模型过于复杂的时候会导致过拟合。

  当模型越简单时，即使我们再换一组数据，最后得出的学习器和之前的学习器的差别就不那么大，模型的方差很小。还是因为模型简单，所以偏差会很大。

  也就是说，当我们训练一个模型时，偏差和方差都得照顾到，漏掉一个都不行。

  对于Bagging算法来说，由于我们会并行地训练很多不同的分类器的目的就是降低这个方差(variance) ,因为采用了相互独立的基分类器多了以后，h的值自然就会靠近所以对于每个基分类器来说，目标就是如何降低这个偏差（bias),所以我们会采用深度很深甚至不剪枝的决策树。

  对于Boosting来说，每一步我们都会在上一轮的基础上更加拟合原数据，所以可以保证偏差（bias）,所以对于每个基分类器来说，问题就在于如何选择variance更小的分类器，即更简单的分类器，所以我们选择了深度很浅的决策树。

最近引起关注的一个Gradient Boosting算法：xgboost，在计算速度和准确率上，较GBDT有明显的提升。xgboost 的全称是eXtreme Gradient Boosting，它是Gradient Boosting Machine的一个c++实现，作者为正在华盛顿大学研究机器学习的大牛陈天奇 。xgboost最大的特点在于，它能够自动利用CPU的多线程进行并行，同时在算法上加以改进提高了精度。它的处女秀是Kaggle的 希格斯子信号识别竞赛，因为出众的效率与较高的预测准确度在比赛论坛中引起了参赛选手的广泛关注。值得我们在GBDT的基础上对其进一步探索学习。

参考文献

1、《The Elements of Statistical Learning》

2、《统计学习方法》

3、 http://blogcsdnnet/puqutogether/article/details/44593647

4、 http://blogcsdnnet/suranxu007/article/details/49910323

5、 http://blogcsdnnet/lilyth_lilyth/article/details/48032119

6、《Practical Lessons from Predicting Clicks on Ads at Facebook》

7、 http://wwwsearchtbcom/2010/12/an-introduction-to-treelinkhtml

8、 https://wwwzhihucom/question/45487317

L1范数 损失函数，也被称为 最小绝对值偏差（LAD） ， 最小绝对值误差（LAE） 。

先求差的平方、再求和、再求平均，其实也就是L2损失函数

最小均方误差通常用在回归问题上，具体的推导可以见我的另一篇文章 线性回归 ，其本质是通过假设样本服从高斯分布然后推出来的。

（注意，交叉熵损失函数分为基于sigmoid的交叉熵损失函数以及基于softmax的交叉熵损失函数）

交叉熵损失函数定义如下：

延伸一下，那么扩展到多分类问题上呢？

只需要把sigmoid函数换成softmax函数

那么此时， 交叉熵损失函数写成

不同的损失函数可用于不同的目标。在这篇文章中，我将带你通过一些示例介绍一些非常常用的损失函数。这篇文章提到的一些参数细节都属于tensorflow或者keras的实现细节。

损失函数的简要介绍

损失函数有助于优化神经网络的参数。我们的目标是通过优化神经网络的参数(权重)来最大程度地减少神经网络的损失。通过神经网络将目标(实际)值与预测值进行匹配，再经过损失函数就可以计算出损失。然后，我们使用梯度下降法来优化网络权重，以使损失最小化。这就是我们训练神经网络的方式。

均方误差

当你执行回归任务时，可以选择该损失函数。顾名思义，这种损失是通过计算实际(目标)值和预测值之间的平方差的平均值来计算的。

例如，你有一个神经网络，通过该网络可以获取一些与房屋有关的数据并预测其价格。在这种情况下，你可以使用MSE(均方误差)损失。基本上，在输出为实数的情况下，应使用此损失函数。

二元交叉熵

当你执行二元分类任务时，可以选择该损失函数。如果你使用BCE(二元交叉熵)损失函数，则只需一个输出节点即可将数据分为两类。输出值应通过sigmoid激活函数，以便输出在(0-1)范围内。

例如，你有一个神经网络，该网络获取与大气有关的数据并预测是否会下雨。如果输出大于05，则网络将其分类为会下雨；如果输出小于05，则网络将其分类为不会下雨。即概率得分值越大，下雨的机会越大。

训练网络时，如果标签是下雨，则输入网络的目标值应为1，否则为0。

重要的一点是，如果你使用BCE损失函数，则节点的输出应介于(0-1)之间。这意味着你必须在最终输出中使用sigmoid激活函数。因为sigmoid函数可以把任何实数值转换(0–1)的范围。(也就是输出概率值)

如果你不想在最后一层上显示使用sigmoid激活函数，你可以在损失函数的参数上设置from logits为true，它会在内部调用Sigmoid函数应用到输出值。

多分类交叉熵

当你执行多类分类任务时，可以选择该损失函数。如果使用CCE(多分类交叉熵)损失函数，则输出节点的数量必须与这些类相同。最后一层的输出应该通过softmax激活函数，以便每个节点输出介于(0-1)之间的概率值。

例如，你有一个神经网络，它读取图像并将其分类为猫或狗。如果猫节点具有高概率得分，则将图像分类为猫，否则分类为狗。基本上，如果某个类别节点具有最高的概率得分，图像都将被分类为该类别。

为了在训练时提供目标值，你必须对它们进行一次one-hot编码。如果图像是猫，则目标向量将为(1，0)，如果图像是狗，则目标向量将为(0，1)。基本上，目标向量的大小将与类的数目相同，并且对应于实际类的索引位置将为1，所有其他的位置都为零。

如果你不想在最后一层上显示使用softmax激活函数，你可以在损失函数的参数上设置from logits为true，它会在内部调用softmax函数应用到输出值。与上述情况相同。

稀疏多分类交叉熵

该损失函数几乎与多分类交叉熵相同，只是有一点小更改。

使用SCCE(稀疏多分类交叉熵)损失函数时，不需要one-hot形式的目标向量。例如如果目标图像是猫，则只需传递0，否则传递1。基本上，无论哪个类，你都只需传递该类的索引。

这些是最重要的损失函数。训练神经网络时，可能会使用这些损失函数之一。

下面的链接是Keras中所有可用损失函数的源代码。

(https://githubcom/keras-team/keras/blob/c658993cf596fbd39cf800873bc457e69cfb0cdb/keras/backend/numpy_backendpy)

盘点机器学习中那些神奇的损失函数

我最近在学习R语言，但是估R语言我应该没能跟sas一样玩那么好。今天来更新在机器学习中的一些专业术语，例如一些损失函数，正则化，核函数是什么东西。

损失函数：损失函数是用来衡量模型的性能的，通过预测值和真实值之间的一些计算，得出的一个值，这个值在模型拟合的时候是为了告诉模型是否还有可以继续优化的空间（模型的目的就是希望损失函数是拟合过的模型中最小的），损失函数一般有以下几种，为什么损失函数还有几种呢，因为不同的算法使用的损失函数有所区分。

1

0-1损失函数:

这个损失函数的含义，是最简单的，预测出来的分类结果跟真实对比，一样的返回1，不一样返回0,这种方式比较粗暴，因为有时候是0999的时候，其实已经很接近了，但是按照这个损失函数的标准，还是返回0，所以这个损失函数很严格，严格到你觉得特别没有人性。

2

感知损失函数

那么这个感知损失函数，其实是跟混淆矩阵那种算法是一样，设定一个阀值，假设真实值与预测值之间的差距超过这个阀值的话，就是1，小于的话就是0，这种就多多少少弥补了0-1损失函数中的严格，假设以05为界限，那么比05大的我们定义为坏客户，小于05定义为坏客户，假设用这种方式，那么大部分好客户聚集在06，以及大部分好客户聚集在09这个位置，感知损失函数，判断的时候可能是差不多的效果。但是很明显两个模型的效果是，后者要好。当然你在实际的做模型的时候也不会单靠一个损失函数衡量模型啦，只是你在拟合的时候可能使用的损失函数来拟合出机器觉得是最优的。

3

Hinge损失函数

Hinge损失函数是源自于支持向量机中的，因为支持向量机中，最终的支持向量机的分类模型是能最大化分类间隔，又减少错误分类的样本数目，意味着一个好的支持向量机的模型，需要满足以上两个条件：1、最大化分类间隔，2、错误分类的样本数目。错误分类的样本数目，就回到了损失函数的范畴。

我们看上面这张图：把这四个点，根据下标分别叫1、2、3、4点，可以看到hinge衡量的是该错误分类的点到该分类的分类间隔线之间的距离，像1点，他虽然没有被正确分类，但是是在分类间隔中，所以他到正确被分类的线的距离是小于1的（分类间隔取的距离是1），那么像2，3，4点他们到正确的分类间隔的距离都是超过1，正确分类的则置为0，那么回到上面的公式，支持向量机中，分类使用+1，-1表示，当样本被正确分类，那么就是0，即hinge的值为0，那么如果在分隔中的时候，hinge的值为1-真实值与预测值的积。举个例子，当真实值yi是1，被分到正确分类的分类间隔之外，那么yi=1，>1,那么这时候即样本被正确分类hinge值则为0。那么如果是被错误分类，则hinge值就是大于1了。这就是hinge损失函数啦。

4

交叉熵损失函数

这个函数是在逻辑回归中最大化似然函数推出来，在公式层面的理解，可以看到就是计算样本的预测概率为目标值的概率的对数。这个你不想听公式推导也看下去啦，因为这对于优化问题的理解可以更深刻。

以上的公式中的h(x)代表的样本是目标值的概率，那么模型最极端的预测是什么，y=1的样本的h(x)都为1，y=0的样本的h(x)都是0，那么你这个模型的正确率就是100%，但在实际建模中这个可能性是极低的，所以这时候使用最大似然估计将全部的样本的预测值连乘，那么这时候意味着对于y=1的样本，h(x)的值越大越好，y=0的时候h(x)的值越小越好即1-h(x)的值越大越好，这时候似然估计这种相乘的方式貌似很难衡量那个模型是最好的，所以加上log函数的转化之后再加上一个负号，全部的项变成相加，这时候我们只要求得-ln(l())最小就可以了。这就是交叉熵损失函数。那么这里你可能会问，为什么用的是log，不是用什么exp，幂函数这些，因为log是单调递增的，在将式子从相乘转成相加的同时，又保证了数值越大，ln(x)的值越大。

5

平方误差

平方差，这个大家很熟啦，线性回归很爱用这个，这个衡量线性关系的时候比较好用，在分类算法中比较少用。

6

绝对误差

那么这个也是回归中比较常用的，也不做多的解释。

7

指数误差

这是adaboosting中的一个损失函数，假设目标变量还是用-1，1表示，那么就以为在上面的公式中，当yi=1的时候，就希望越大越好，即越小越好，同样可推当yi=0的时候。思想跟逻辑回归类似，但是因为这里使用-1，1表示目标变量，所以损失函数有些区别。