R语言之决策树和随机森林

R语言之决策树和随机森林

总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。

一、特征生成：

特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。

二、特征选择

特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。

过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等

包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？

常用的算法是分步回归包括向前搜索、向后删除、双向搜索

向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；

向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；

双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；

这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）

内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选汪烂取。

三、决策树

决策的几个要点：1、如何决策？（也就是如何树如何分叉）------熵和信息增益---这里面包含的就是特征的选择？哪个特征变量包含的信息量大，就排在前面，至于最后树的深度就决定特征变量的个数。

当然不同的算法使念数用的衡量的标准不同，还有：信息增益比、基尼不纯系数

2、如何剪枝？-----一般是事后剪枝

3、连续性变量如何离散化？-----阈值的选择

熵：是指信息的混合程度（混乱程度），熵【0-1】越大表示该集合中混合的信息越多，也就表明这次的分叉效果不好还是有很多不同类的信息混在一起

信息增益：熵值的减少量，越大越好

决策树模型特点：模型易于解释；存储空间较小，以树的形式存储，决策树是一个弱分类器，不能完全分类，需要把多个弱分类器通过多数投票法组合在一起。

四、R包实现决策树

library(rpart)

library(rpart.plot)

## rpart.control对树进行一些设置

## xval是10折交叉验证

## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止

## minbucket：叶子节点最小样本数

## maxdepth：树的深度

## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度

ct <- rpart.control(xval=10, minsplit=20, cp=0.1)

## kyphosis是rpart这个包自带的数据集

## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。仔陵首

## method：树的末端数据类型选择相应的变量分割方法:

## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”

## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）

## cost是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”

data("Kyphosis")

fit <- rpart(Kyphosis~Age + Number + Start,data=kyphosis, method="class",control=ct,parms = list(prior = c(0.65,0.35), split = "information"))

## 作图有2种方法

## 第一种：

par(mfrow=c(1,3))plot(fit)text(fit,use.n=T,all=T,cex=0.9)

## 第二种，这种会更漂亮一些：

rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,

shadow.col="gray", box.col="green",

border.col="blue", split.col="red",

split.cex=1.2, main="Kyphosis决策树")

## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少

## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstd

printcp(fit)

## 通过上面的分析来确定cp的值

##调用CP（complexity parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应

#的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。

plotcp(fit)

##利用以下方法进行修剪：

## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

fit2 <- prune(fit, cp=0.01)

#利用模型预测

ndata=data.frame(...)

predict(fit,newdata=ndata)

#案例

str(iris)

set.seed(1234)#设置随机数种子--使每次运行时产生的一组随机数相同，便于结果的重现

#抽样：从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集（常用）

#这里是对行抽样,ind是一个只含1和2的向量

ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))

trainData <- iris[ind==1,]

testData <- iris[ind==2,]

f<-Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

#训练数据

fit<-rpart(f,trainData)

#预测

re<-predict(fit,testData)

#******************或者用其他包********************

library(party)

#建立决策树模型预测花的种类

myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

iris_ctree <- ctree(myFormula, data=trainData)

# 查看预测的结果

z<-table(predict(iris_ctree), trainData$Species)

#可以根据以上列联表求出预测的正确率---评估模型

#计算准确度

q<-sum(diag(z))/sum(z)

五、机器集成与随机森林法则

前面说过，决策树的一个特点是：弱分类器，分类不完全，需要利用集成投票的方式来增加精确度和稳健性。

机器集成算法：对于数据集训练多个模型，对于分类问题，可以采用投票的方法，选择票数最多的类别作为最终的类别，而对于回归问题，可以采用取均值的方法，取得的均值作为最终的结果。主要的集成算法有bagging和adaboost算法。

随机森林：随机森林就是利用机器集成多个决策树，主要有两个参数，一个是决策树的个数，一个是每棵树的特征变量个数。

随机森林特点：精确度高、稳健性好，但可解释性差。(可以知道各个变量的重要性)

R包实现机器集成算法：

#adabag包均有函数实现bagging和adaboost的分类建模

#利用全部数据建模

library(adabag)

a<-boosting(Species~.,data=iris)

z0<-table(iris[,5],predict(a,iris)$class)

#计算误差率

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

barplot(a$importance)

b<-errorevol(a,iris)#计算全体的误差演变

plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图

a<-bagging(Species~.,data=iris)

z0<-table(iris[,5],predict(a,iris)$class)

#计算误差率

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

barplot(a$importance)

b<-errorevol(a,iris)#计算全体的误差演变

plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图

#5折交叉验证

set.seed(1044) #设定随机种子

samp=c(sample(1:50,25),sample(51:100,25),sample(101:150,25)) #进行随机抽样

a=boosting(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模

z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果

z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

E1<-(sum(z0)-sum(diag(z0)))/sum(z1)

a=bagging(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模

z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果

z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

E1<-(sum(z0)-sum(diag(z0)))/sum(z1)

R包实现随机森林：

#随机森林法则

library(randomForest)

library(foreign)

data("iris")

#抽样数据

ind<-sample(2,nrow(iris),replace = TRUE,prob=c(0.7,0.3))

traning<-iris[ind==1,]

testing<-iris[ind==2,]

#训练数据

rf <- randomForest(Species ~ ., data=traning, ntree=100, proximity=TRUE)

#预测

table(predict(rf),traning$Species)

table(predict(rf,testing),testing$Species)

#查看预测的效果

print(rf)

plot(rf)

#查看重要性

importance(rf)

varImpPlot(rf)

5分钟。随机洞空链森林具有很高的预测准确率，纳孙对异常值和噪声具有良好的容忍度，需要5分钟才能跑完，且不会随着构建的决策树的增加而出亏野现过拟合现象。但在引用随机森林方法时，也会产生一定限度内的泛化误差。

参考学习资料：菜鸟团生信专题

对统计学原理不太熟练的时候听到一个名词 随机森林 ，这是个什么鬼，这个森林里有啥，随机出现什么？这东西干啥的？啥也不知道啊，只好学习了。

根据搜到的结果终于知道了这个统计方法是怎么回事了。

果然是森林，由很多树组成的，很多什么树呢，决策树，厉害了，这个树是有决策能力的的，能预测森林的走向，那么怎么实现的呢，决策树又是怎么来的呢，是来源于一堆数据，理清楚了，就是一堆数据通过某种算法变成了由决策树的形式展现出来，然后很多树对这个数据进行了深度分析，然后形成了一个随机森林可以根据已有的这堆数据对某个现象或某个疾病的进展做一个预后的推测，通常情况下预测精度还是蛮精准的。

这不就是赋予机器以思想的过程吗，估计深度学习就是这么来的。高级！

以上是我脑补的，具体过程还请看前面的参考资料。

构建一个决策树是很简单的，分为3步：

决策树是一种有监督机器学习算法，所以需要一个已知数据用于计算，这种数据分为两部分：我们可以分别将其理解为“自变量”和“因变量”。

第一步——得到最佳的根节点

使用一种叫做 Gini 的方法， Gini 用于衡量每一个决策树的 impurity （不纯净度），Gini值越低越好，它的计算非常简单：

Gini impurity=1-(1-probability of "Yes")^2-(1-probability of "No")^2

第二步——限定根节点，同样方法找到最佳的内部节点

第三步——继续限定二级节点，完成最终的一侧分支

以此类推，直到完成全部的节点构建。（具体实例参考上述学习资料）

随机森林通过bootstrap和随机子集的方法可以产生大量的随机数据集，从而形成随机森林。铅弊哗而在bootstrap的过程中，由于是有放回的抽样，所以每一个boots数据集中绝大部分都会有重复样本，也就是说原始数据集中的一些样本不在bootstrap数据集中，这些样本称为 Out-of-bag Dataset 。

反过来说，假定一个随机森林有100个决策树，对于原始数据来说，每一个样本都有可能是某些树的 Out-of-bag 数据。

所以刚好就可以使用 Out-of-bag Dataset 数据集去评价随机森林的效果好坏。

具体如何评价呢？

方法就是将同 Out-of-bag 数据对应的决策树对 Out-of-bag 数据进行分类计算，看计算出来的分类结果和原始分类是否相符，计算不相符的 Out-of-bag Dataset 的比例，此比例就是随机森林的优劣程度评价。因此又叫做 Out-of-bag Error 。

由于我们已经知道了如何构建随机森林，也已经知道了随机森林的评价方法，所以寻找最优子集数目是一个非常简单槐行的过程，多试试几个子集数目，寻找 Out-of-bag Error 最小的随机森林即可。

最优子集的选择是如下过程：

好，原理理清楚了，那就在R中进行随机森林的实践。

用到的R包为 ggplot2 、 randomForest 。

使用read.csv函数读取网络数据。

修改列名

修改数据格式

从官网可以知道14个数据变量的含义，他们分别是：

然后我们使用str(data)看一下此时的数据结构可以发现不规范的变量有，

按照上述情况，进行以下修改卜庆：

转换数据格式，这里注意 as. 的用法，以及函数 ifelse 的用法

填补缺失值

rfImpute 函数用于填补缺失值，随机森林的缺失值填补是根据相似度进行填补的一种迭代算法。

结果会输出每次迭代后的OOB值，越低越好。

构建随机森林

决策树的数量

默认是创建500棵决策树，此时的OOB（out of bag）值可以用于评价随机森林的模型如何。

我们可以看看此时从第1棵树到第500棵决策树时，OOB的变化趋势：

可以看出，大概从150以后的OOB的值趋于稳定了，默认的500是非常稳健的数值了。

我们可以改变不同的子集数目以确认最佳子集数目是多少，比如可以看一下子集数目分别为1-10时的结果：

可以发现最低的OOB确实是子集数目为3。

---