【项目实战】Python实现Catboost回归模型

说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。

 

1.项目背景

CatBoost是一种基于对称决策树（oblivious trees）为基学习器实现的参数较少、支持类别型变量和高准确性的GBDT框架，主要解决的痛点是高效合理地处理类别型特征，这一点从它的名字中可以看出来，CatBoost是由Categorical和Boosting组成。

此外，CatBoost还解决了梯度偏差（Gradient Bias）以及预测偏移（Prediction shift）的问题，从而减少过拟合的发生，进而提高算法的准确性和泛化能力。

本文使用CatBoostRegressor来解决回归问题。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下：

数据详情如下(部分展示)：

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据：

 从上图可以看到，总共有14个字段：参与机器学习的变量13个，其中id只是一个编号，建模时我们要去掉它。

关键代码：

3.2缺失值统计

使用Pandas工具的info()方法统计每个特征缺失情况：

 从上图可以看到，数据不存在缺失值，总数据量为2400条。

关键代码：

3.3变量描述性统计分析

通过Pandas工具的describe()方法来来统计变量的平均值、标准差、最大值、最小值、分位数等信息：

 关键代码如下：

4.探索性数据分析

4.1 spacegroup特征分布分析

用Pandas工具的value_counts().plot()方法进行统计绘图，输出结果如下：

 

图形化展示如下：

 从上面两个图中可以看到，分类为206的有490条，分类为33的有432条。

4.2 number_of_total_atoms特征分布分析

 从上面两个图中可以看到，分类为80的有1410条，分类为40的有519条。

4.3 相关性分析

通过Pandas工具的corr()方法和seaborn工具的heatmap()方法绘制相关性热力图：

 从图中可以看到，正数为正相关，负数为负相关，绝对值越大相关性越强。

4.4 变量的相关关系

从图中可以看到，变量percent_atom_al和变量bandgap_energy_ev呈线性关系。

4.5 bandgap_energy_ev变量直方图

通过Matplotlib工具的hist()方法绘制直方图：

 从上图可以看到bandgap_energy_ev变量数据存在右偏现象。

5.特征工程

5.1 建立特征数据和标签数据

bandgap_energy_ev为标签数据，除 id和bandgap_energy_ev之外的为特征数据。

关键代码如下：

5.2 数据集拆分

数据集集拆分，分为训练集和测试集，80%训练集和20%测试集。

关键代码如下：

6.构建CatBoost回归模型

主要使用CatBoostRegressor算法，用于目标回归。

6.1模型参数

 关键代码如下：

7.模型评估

7.1评估指标及结果

评估指标主要包括可解释方差值、平均绝对误差、均方误差、R方值等等。

 从上表可以看出，R方为93%  可解释方差值为93%，CatBoost回归模型比较优秀，效果非常好。

关键代码如下：

7.2 模型特征重要性

特征重要性绘图展示：

从上图可以看到特征变量对此模型的重要性依次为：

 

 7.3 真实值与预测值对比图

从上图可以看出真实值和预测值波动基本一致，模型拟合效果非常棒。

8.结论与展望

综上所述，本文采用了CatBoost回归模型，最终证明了我们提出的模型效果良好。

 本次机器学习项目实战所需的资料，项目资源如下：

项目说明：
链接：https://pan.baidu.com/s/1dW3S1a6KGdUHK90W-lmA4w 
提取码：bcbp

网盘如果失效，可以添加博主微信：zy10178083