请教step做逐步回归的原理

Eviews是支持自动进行逐步回归的。

假设因变量是Y，常量C，解释变量X1，X2，X3，X4

详细的 *** 作为：

Quick-Estimate Equation中先选择Method：STEPLS；

2.在Dependent Variable中输入Y，在List of search regressors中输入C X1 X2 X3 X4

3.特别要注型猜意在Options中设置迭代中止条件Stopping Criteria，选择以显著性水平p值作为判别依据，假设检验水平为5%，设置两个值0.05和0.051。

4.Stepwise中选择向前还是向后根据你自己的需枣亏要。

OK！执行卜岩型

我比较了一下自动执行逐步回归和手工执行每个解释变量的一元回归并依据拟合优度排序加入解释变量的方法。得到的回归方程虽然略有差异，但还是有效地避免了多重共线性的问题。

1、线性模型~回归分析：【包】：stats 【函数】：lm(formula, data, ...)逐步回归：step(lm(formula, data, ...))回归诊断：influence.measure(lm(formula, data, ...))多重共线性：kappa(XX,exact=T), eigen(XX)自相关检验：一阶：dwtest(y~x) 多阶：bgtest(y~x,order=2,type=”Chisq”)【备注】：1）stats包里的lm()可做多元线形模型，anova.mlm()比较多个多元线形模型，manova()做多元方差分析（MANOVA）。2）sn包的msn.mle()和 and mst.mle()可拟合多元偏正态和偏t分布模型。3）pls包提供偏最小二乘回归（PLSR）和主成分回归；4）ppls包可做惩罚偏最小二乘回归；5）dr包提供降维回归方法，如：片逆回归法(Sliced Inverse Regression)、片平均方差估计(sliced average variance estimation)。6）plsgenomics包做基于偏最小二乘回归的基因组分者棚析。7）relaimpo包可评估回归参数的相对重要性。2、logistic回归：【包】：stats 【函数】：glm(formula, family=gaussian,data, ...)注：familybinomial(link = "logit") gaussian(link = "identity") Gamma(link = "inverse") inverse.gaussian(link = "1/mu^2") poisson(link = "log") quasi(link = "identity", variance = "constant") quasibinomial(link = "logit") quasipoisson(link = "log")

3、无监督分类~决策树：【包】：rpart 【函数】：rpart(formula,data, method="class",control=ct,parms=list(prior=c(p,1-p),split="information"))

rpart.plot(fit,branch=1,branch.type=2,type=1,extra=102,shadow.col=”gray”,box.col=”green”,

split.cex=1.2,main=”Kyphosis决策树”) #提供了复杂度损失修剪的修剪方法

printcp(fit):告诉分裂到哪一层，CP，nsplit，rel，error，交叉验证的估计误差（xerror），标准误差（xstd）

prune(fit,cp=fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])：剪枝函数

【备注】：1）CRAN的 MachineLearning任务列表有对树方法的细节描述。

2）分类树也常常是重要的多元方法，rpart包正是这样的包，

3）rpart.permutation包还可以做rpart()模型的置换（permutation）检验。

4）TWIX包的树可以外部剪枝。

5）hier.part包分割多元数据集的方差。

6）mvpart包可做多元回归树，

7）party包实现了递桐桥归分割（recursive partitioning），

8）rrp包实现了随机递归分割。

9）caret包可做分类和回归训练，进而caretLSF包实现了并行处理。

10）kknn包的k-近 邻法可用于回归，也可用于分类。

4、支持向量机：

【包】：e1071，kernlab

【函数】：svm(x_train,y_train,type="C-classification",cost=10,kernel="radial",probability=TRUE,scale=FALSE)

svp=ksvm(x,y,type="C-svc",kernel="rbf",kpar=list(sigma=1),C=1)

5、无监督分类~聚类分析：

【包】：stats

【函数】：系统聚类：首轮则hclust(d,method=”complete”,members=NULL)

快速聚类：kmeans(x,centers,iter.max=10,nstart=1,algorithm=“Hartigan-Wong”)

距离函数：dist(x,method=”euclidean”,diag=FALSE,upper=FALSE,p=2)

【备注】：1）CRAN的Cluster任务列表全面的综述了R实现的聚类方法。

2）stats里提供等级聚类hclust()和k-均值聚类kmeans()。

3）cluster包里有大量的聚类和可视化技 术，

4）clv包里则有一些聚类确认程序，

5）e1071包的classAgreement()可计算Rand index比较两种分类结果。

6）Trimmed k-means聚类分析可由trimcluster包实现，

7）聚类融合方法（Cluster Ensembles）由clue包实现，

8）clusterSim包能帮助选择最佳的聚类，

9）hybridHclust包提供一些混合聚类方法。

10）energy包里有基于E统计量的距离测度函数edist()和等级聚类方法hclust.energy()。

11）LLAhclust包提供基于似然（likelihood linkage）方法的聚类，也有评定聚类结果的指标。

12）fpc包里有基于Mahalanobis距离的聚类。

13）clustvarsel包有多种基于模型的聚类。

14）模糊聚类（fuzzy clustering）可在cluster包和hopach包里实现。

15）Kohonen包提供用于高维谱（spectra）或模式（pattern）的有监督和无监督的SOM算法。

16）clusterGeneration包帮助模拟聚类。

17）CRAN的Environmetrics任务列表里也有相关的聚类算法的综述。

18）mclust包实现了基于模型的聚类，

19）MFDA包实现了功能数据的基于模型的聚类。

逐步回归的R语言实现

定义类型

向前引入法

从一元回归开始，逐步增加变量，使指标值达到最优为止

相互删除法

从全变量回归方程开始，逐步删去某个变量，使指标值达到最优为止

逐步筛选帆槐法

综合上述方法

衡量标准

R2：越大越好

AIC：越小越好

step()

usage:

step(object, scope, scale = 0,

direction = c("弯中both", "backward", "forward"),

trace = 1, keep = NULL, steps = 1000, k = 2, ...)

这个函数可以用来对已建立的lm or glm model进行逐步回归分析。

其中，direction分为”both”, “backward”, “forward”，分别表示逐步筛选、向后、向前三种方埋轿山法。

注意，这个函数筛选的依据是AIC，而不是R2。

example:

最后

鉴于step()有时候会出现莫名其妙的错误，因此再介绍一个可以做逐步回归的手工方法。

add1()

drop1()

---