集成学习思想

集成学习思想

目录

前言

一、集成学习是什么？

二、2种思想

1.bagging(集体表决，少数服从多数)（相互遏制，解决过拟合）

2.boosting(精益求精，最求卓越)（弱弱组合，解决欠拟合）

总结

---

前言

集成学习的准确率较高，本文将介绍一下它的2种思想，并行思想（bagging），串行思想（boosting）。

---

一、集成学习是什么？

俗话说，三个臭皮匠顶个诸葛亮，集成学习是生成几个模型来解决单一模型预测泛化能力弱的问题。

通过生成几个单一的模型，分别进行学习和预测，然后再将预测的结果组合起来，形成新的预测效果超过任何一个单一的模型做出预测。

二、2种思想
1.bagging(集体表决，少数服从多数)（相互遏制，解决过拟合）

案例：部门要去团建，有10个人，讨论A,B方案（都有10个项目）哪个更加合适。每个人只看这2个方案中前6个最感兴趣的项目，然后集体表决选哪个方案，以多数意见为准。

特点：1.并行计算。2.随机数据，随机特征。3.分类：（少数服从多数）回归：（求均值）4.若学习器之间相互独立，没有关联。

2.boosting(精益求精，最求卓越)（弱弱组合，解决欠拟合）

案例：某次数学考试非常难，第一次我只考了80，剩余20分是不会的内容。第2次我把这20分的内容重点学习，掌握15分，还剩5分的内容不会。第3次，在重点学习这个5分的内容，掌握了4分，还剩1分不会。第4次，学习这1分的内容，掌握了0.9分，还剩0.1分不会。到此时，我已经掌握99.9的内容。

特点：1.串行计算。2.全部数据参与学习。3.预测结果是每一个弱的学习器累加的结果。4.每一个学习器之间都有联系。

---

总结

以上就是集成学习的2种主要的思想，并行（badding）,串行（boosting）。