说一下gbdt的全部算法过程

说一下gbdt的全部算法过程,第1张

说一下gbdt的全部算法过程

参考回答:

GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种用于回归的机器学习算法,该算法由多棵回归决策树组成,所有树的结论累加起来做最终答案。当把目标函数做变换后,该算法亦可用于分类或排序。

1)明确损失函数是误差最小

2)构建第一棵回归树

3)学习多棵回归树

迭代:计算梯度/残差gm(如果是均方误差为损失函数即为残差)

步长/缩放因子p,用 a single Newton-Raphson step 去近似求解下降方向步长,通常的实现中 Step3 被省略,采用 shrinkage 的策略通过参数设置步长,避免过拟合

第m棵树fm=p*gm

模型Fm=Fm-1+p*gm

4)F(x)等于所有树结果累加

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/4881464.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-11-11
下一篇 2022-11-11

发表评论

登录后才能评论

评论列表(0条)

保存