机器学习sklearn-xgboost

机器学习sklearn-xgboost

集成算法 多个弱评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。

提升算法 Adaboost和梯度提升树

XGBoost背后也是CART树，所有树都是二叉的

对于梯度提升回归树来说，每个样本的预测结果可以表示为所有树上的结果的加权求和。每次迭代过程都加一棵树

XGB每个叶子节点上会有一个预测分数，也被称为叶子权重，叶子权重就是所有在这个叶子节点上的样本在这一棵树上的回归取值

参数n_estimators 默认100

训练中是否打印每次训练的结果 silent  监控模型的训练过程

sklearn.model_selection.learning_curve 学习曲线

训练集展示了模型的学习能力，测试集上表现展示了模型的泛化能力

进化的学习曲线：方差与泛化误差

泛化误差：用来衡量模型在位置数据集上的学习率的指标

有放回随机抽样 subsample

重要参数booster  使用哪种弱评估器  gbtree dart gblinear

XGB的目标函数 重要参数objective

平衡模型效果和模型复杂度

 

 分类型的目标函数导入回归类中会直接报错

参数化决策树fk(x):参数alpha,lambda

XGB vs GBDT 核心区别 1 ：求解预测值 的方式不同 XGB vs GBDT 核心区别2: 正则项的存在 贪婪算法指的是控制局部最优来达到全局最优的算法，决策树算法本身就是一种贪婪算法的方法