机器学习常见算法

1.KNN算法

kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。是从训练集中找到和新数据最接近的k条记录，然后根据他们的主要分类来决定新数据的类别。
该算法涉及3个主要因素：训练集、距离或相似的衡量、k的大小。

#1.导入：
分类问题：
from sklearn.neighbors import KNeighborsClassifier
回归问题：
from sklearn.neighbors import KNeighborsRegressor

#2.创建模型
knnclf = KNeighborsClassifier(n_neighbors=5)
knnrgr = KNeighborsRegressor(n_neighbors=3)

#3.训练
knnclf.fit(X_train,y_train)

#4.预测
y_pre = knnclf.predict(x_test)

普通案例：鸢尾花预测，手写数字识别

2.普通线性回归：linear

线性回归由两个词组成的：线性和回归。线性用来描述变量X（variable 或predictor或feature）的系数与响应Y（response）之间的关系是线性的。回归说明它的响应是定量（quantitative）的，而不是定性（qualitative）的。

#1.导入
from sklearn.linear_model import LinearRegression
#2.创建模型
line = LinearRegression()
#3.训练
line.fit(X_train,y_train)
#4.预测
y_pre= line.predict(x_test)

普通案例：波士顿放假预测，鲍鱼年龄预测

3.决策树

决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。
a. 只接受离散特征，属于分类决策树。
b. 条件熵的计算 H(Label |某个特征) 这个条件熵反映了在知道该特征时，标签的混乱程度，可以帮助我们选择特征，选择下一步的决策树的节点。
c. Gini和entropy的效果没有大的差别，在scikit learn中默认用Gini是因为Gini指数不需要求对数，计算量少。
d. 把熵用到了集合上，把集合看成随机变量。
e. 决策树：贪心算法，无法从全局的观点来观察决策树，从而难以调优。
f. 叶子节点上的最小样本数，太少，缺乏统计意义。从叶子节点的情况，可以看出决策树的质量，发现有问题也束手无策。
优点：可解释性强，可视化。缺点：容易过拟合（通过剪枝避免过拟合），很难调优，准确率不高
g. 二分类，正负样本数目相差是否悬殊，投票机制
h. 决策树算法可以看成是把多个逻辑回归算法集成起来。

分类解决离散问题，回归解决连续问题
#1.导入
分类：from sklearn.tree import DecisionTreeClassifier
回归：from sklearn.tree import DecisionTreeRegressor
#2.创建模型
#  max_depth 整数类型，决定对多少个数据特征做分裂
tree = DecisionTreeClassifier(max_depth=5)
tree = DecisionTreeRegressor(max_depth=5)
#3.训练
#4.预测

4.支持向量机

#1.导入
处理分类问题：
from sklearn.svm import SVC
处理回归问题：
from sklearn.svm import SVR
#2.创建模型（回归时使用SVR)
svc = SVC(kernel='linear')
svc = SVC(kernel='rbf')
svc = SVC(kernel='poly')
#3.训练
svc_linear.fit(X_train,y_train)
svc_rbf.fit(X_train,y_train)
svc_poly.fit(X_train,y_train)
#4.预测
linear_y_ = svc_linear.predict(x_test)
rbf_y_ = svc_rbf.predict(x_test)
poly_y_ = svc_poly.predict(x_test)