支持向量机（SVM）常见问题

SVM是一种二分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大化是它的独特之处），通过该超平面实现对未知样本集的分类。

意义：原始样本空间中可能不存在这样可以将样本正确分为两类的超平面，但是我们知道如果原始空间的维数是有限的，也就是说属性数是有限的，则一定存在一个高维特征空间能够将样本划分。SVM通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超平面，从而把平面上本身无法线性可分的数据分开。核函数的真正意义是做到了没有真正映射到高维空间却达到了映射的作用，即减少了大量的映射计算。

选择：

利用专家先验知识选定核函数，例如已经知道问题是线性可分的，就可以使用线性核，不必选用非线性核。

如果特征的数量大到和样本数量差不多，则选用线性核函数SVM或LR。

如果特征的数量小，样本的数量正常，则选用高斯核函数SVM。

如果特征的数量小，样本数量很多，由于求解最优化问题的时候，目标函数涉及两两样本计算内积，使用高斯核明显计算量会大于线性核，所以手动添加一些特征，使得线性可分，然后可以用LR或者线性核的SVM；

利用交叉验证，试用不同的核函数，误差最小的即为效果最好的核函数。

混合核函数方法，将不同的核函数结合起来。

当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。感知机或神经网络等利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。

增、删非支持向量样本对模型没有影响;

支持向量样本集具有一定的鲁棒性;

有些成功的应用中,SVM 方法对核的选取不敏感

噪声数量太多

噪声以新的分布形式出现，与原先样本集的噪声分布表现的相当不同。此时噪声也有大概率落在最大分类间隔中间，从而成为支持向量，大大影响模型。

所以我们常说的鲁棒性其实是主要是体现在对Outlier（异常点、离群点）上。

这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，若存在缺失值它们在该特征维度很难正确的分类（例如SVM要度量距离(distance measurement)，高斯核，那么缺失值处理不当就会导致效果很差），所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

SVM的空间消耗主要是在存储训练样本和核矩阵，由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的内存和运算时间。如果数据量很大，SVM的训练时间就会比较长，所以SVM在大数据的使用中比较受限。

过拟合是什么就不再解释了。SVM其实是一个自带L2正则项的分类器。SVM防止过拟合的主要技巧就在于调整软间隔松弛变量的惩罚因子C。C越大表明越不能容忍错分，当无穷大时则退化为硬间隔分类器。合适的C大小可以照顾到整体数据而不是被一个Outlier给带偏整个判决平面。至于C大小的具体调参通常可以采用交叉验证来获得。每个松弛变量对应的惩罚因子可以不一样。

一般情况下，低偏差，高方差，即遇到过拟合时，减小C；高偏差，低方差，即遇到欠拟合时，增大C。

样本偏斜是指数据集中正负类样本数量不均，比如正类样本有10000个，负类样本只有100个，这就可能使得超平面被“推向”负类（因为负类数量少，分布得不够广），影响结果的准确性。

对于样本偏斜（样本不平衡）的情况，在各种机器学习方法中，我们有针对样本的通用处理办法：如上（下）采样，数据合成，加权等。

仅在SVM中，我们可以通过为正负类样本设置不同的惩罚因子来解决样本偏斜的问题。具体做法是为负类设置大一点的惩罚因子，因为负类本来就少，不能再分错了，然后正负类的惩罚因子遵循一定的比例，比如正负类数量比为100：1，则惩罚因子的比例直接就定为1:100，具体值要通过实验确定。

优点：

非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；

对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；

支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量；

SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。

小样本集上分类效果通常比较好。

少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:

①增、删非支持向量样本对模型没有影响;

②支持向量样本集具有一定的鲁棒性;

③有些成功的应用中,SVM 方法对核的选取不敏感

SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题。

缺点：

SVM算法对大规模训练样本难以实施。由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间（上面有讲）。

用SVM解决多分类问题存在困难。传统的SVM就是解决二分类问题的，上面有介绍不少解决多分类问题的SVM技巧，不过各种方法都一定程度上的缺陷。

对缺失值敏感，核函数的选择与调参比较复杂。

答：使用ROC曲线。Roc曲线下的面积，介于01和1之间。AUC值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面。Auc作为数值可以直观的评价分类器的好坏，值越大越好，随机情况大概是05，所以一般不错的分类器AUC至少要大于05。

选择ROC和ROC下曲线面积是因为分类问题经常会碰到正负样本不均衡的问题，此时准确率和召回率不能有效评价分类器的性能，而ROC曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变。

答：大值特征会掩盖小值特征（内积计算）。高斯核会计算向量间的距离，也会产生同样的问题；多项式核会引起数值问题。影响求解的速度。数据规范化后，会丢失一些信息。预测的时候，也要进行规范化

答：1）训练速度：线性核只需要调节惩罚因子一个参数，所以速度快；多项式核参数多，难调;径向基核函数还需要调节γ,需要计算e的幂，所以训练速度变慢。调参一般使用交叉验证，所以速度会慢

2）训练结果：线性核的得到的权重w可以反映出特征的重要性，从而进行特征选择；多项式核的结果更加直观，解释性强;径向基核得到权重是无法解释的。

3）适应的数据：线性核：样本数量远小于特征数量(n<<m）此时不需要映射到高维，或者样本数量与特征数量都很大此时主要考虑训练速度；径向基核：样本数量远大于特征数量(n>>m)

答：如果σ选得很大的话，高次特征上的权重实际上衰减得非常快，使用泰勒展开就可以发现，当很大的时候，泰勒展开的高次项的系数会变小得很快，所以实际上相当于一个低维的子空间；

如果σ选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题，因为此时泰勒展开式中有效的项将变得非常多，甚至无穷多，那么就相当于映射到了一个无穷维的空间，任意数据都将变得线性可分。

相同

第一，LR和SVM都是分类算法。

第二，如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。

第三，LR和SVM都是监督学习算法。

第四，LR和SVM都是判别模型。

第五，LR和SVM都有很好的数学理论支撑。

不同

第一，loss function不同。

第二，支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的确定也起作用）。

第三，在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法。在计算决策面时，SVM算法里只有少数几个代表支持向量的样本参与了计算，也就是只有少数几个样本需要参与核计算（即kernal machine解的系数是稀疏的）。然而，LR算法里，每个样本点都必须参与决策面的计算过程，也就是说，假设我们在LR里也运用核函数的原理，那么每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。所以，在具体应用时，LR很少运用核函数机制。​

第四，​线性SVM依赖数据表达的距离测度，所以需要对数据先做normalization，LR不受其影响。一个计算概率，一个计算距离！​

第五，SVM的损失函数就自带正则！！！（损失函数中的1/2||w||^2项），这就是为什么SVM是结构风险最小化算法的原因！！！而LR必须另外在损失函数上添加正则项！！！所谓结构风险最小化，意思就是在训练误差和模型复杂度之间寻求平衡，防止过拟合，从而达到真实误差的最小化。未达到结构风险最小化的目的，最常用的方法就是添加正则项，SVM的目标函数里居然自带正则项！！！再看一下上面提到过的SVM目标函数：

我们再来看看，所谓out lier，是怎么产生的，无非有两种情况，一种就是这个样本的标签y搞错了，一种就是没搞错，但这个样本是一个个例，不具备统计特性。

不论对于哪一种情况，svm会在f将这个out lier预测的比较正确时，就停止，不会一直优化对out lier的预测，因为没有什么太大意义了。而lr则不同，它会继续要求f对这个out lier的预测进行优化，并且永不停止，显然，这样的优化很可能会削弱f的泛化性能，因为没有必要死磕out lier 。

答案就是SVM！！！

你这个是SVR吧，训练效果好说明不了什么，很可能是过拟合了，overfit。训练时C很大e很小时，很大可能都能找出训练效果特别好的模型。这个输出是常数基本这个模型没有意义，如果是两类分类就是50%概率在猜。

建议你预处理下特征，gridsearch下C和g重新试试。

样本采样时间好像不一样，也可以调一下？

样本不好，什么模型都不好用。

3、RBF内核SVM和线性SVM的决策平面

import matplotlibpyplot as plt

import numpy as np

from time import time

# 导入数据集，分类器和性能指标

from sklearn import datasets, svm, pipeline

from sklearnkernel_approximation import (RBFSampler,

                                          Nystroem)

from sklearndecomposition import PCA

pltrcParams['fontsans-serif'] = ['SimHei']

pltrcParams['axesunicode_minus'] = False

# 手写数字数据集

digits = datasetsload_digits(n_class=9)

n_samples = len(digitsdata)

data = digitsdata / 16

data -= datamean(axis=0)

# 对手写数字数据集的前半段进行学习

data_train, targets_train = (data[:n_samples // 2],

                            digitstarget[:n_samples // 2])

# 预测手写数字数据集的后半段

data_test, targets_test = (data[n_samples // 2:],

                          digitstarget[n_samples // 2:])

# data_test = scalertransform(data_test)

# 创造分类器：一个支持向量机

kernel_svm = svmSVC(gamma=2)

linear_svm = svmLinearSVC()

# 用核估计方式创建管道

# 和线性svm

feature_map_fourier = RBFSampler(gamma=2, random_state=1)

feature_map_nystroem = Nystroem(gamma=2, random_state=1)

fourier_approx_svm = pipelinePipeline([("feature_map", feature_map_fourier),

                                        ("svm", svmLinearSVC())])

nystroem_approx_svm = pipelinePipeline([("feature_map", feature_map_nystroem),

                                        ("svm", svmLinearSVC())])

# 用线性及带核的支持向量机进行拟合和预测：

kernel_svm_time = time()

kernel_svmfit(data_train, targets_train)

kernel_svm_score = kernel_svmscore(data_test, targets_test)

kernel_svm_time = time() - kernel_svm_time

linear_svm_time = time()

linear_svmfit(data_train, targets_train)

linear_svm_score = linear_svmscore(data_test, targets_test)

linear_svm_time = time() - linear_svm_time

sample_sizes = 30 nparange(1, 10)

fourier_scores = []

nystroem_scores = []

fourier_times = []

nystroem_times = []

for D in sample_sizes:

    fourier_approx_svmset_params(feature_map__n_components=D)

    nystroem_approx_svmset_params(feature_map__n_components=D)

    start = time()

    nystroem_approx_svmfit(data_train, targets_train)

    nystroem_timesappend(time() - start)

    start = time()

    fourier_approx_svmfit(data_train, targets_train)

    fourier_timesappend(time() - start)

    fourier_score = fourier_approx_svmscore(data_test, targets_test)

    nystroem_score = nystroem_approx_svmscore(data_test, targets_test)

    nystroem_scoresappend(nystroem_score)

    fourier_scoresappend(fourier_score)

# 可视化决策平面，向下投影到数据集的前两个主要组成部分

pca = PCA(n_components=8)fit(data_train)

X = pcatransform(data_train)

# 沿着前两个主要成分生成网格

multiples = nparange(-2, 2, 01)

# 沿第一成分走

first = multiples[:, npnewaxis] pcacomponents_[0, :]

# 沿第二成分走

second = multiples[:, npnewaxis] pcacomponents_[1, :]

# 结合起来

grid = first[npnewaxis, :, :] + second[:, npnewaxis, :]

flat_grid = gridreshape(-1, datashape[1])

# 为图像设置标题

titles = ['带rbf核的SVC',

          '带傅里叶rbf特征映射的SVC（线性核）\n'

'n_components=100',

          'SVC（线性核）\n与Nystroem rbf特征映射\n'

'n_components=100']

pltfigure(figsize=(18, 75))

pltrcParamsupdate({'fontsize': 14})

# 预测并绘图

for i, clf in enumerate((kernel_svm, nystroem_approx_svm,

                        fourier_approx_svm)):

    # 绘制决策边界

    # 为此，我们将为网格[x_min，x_max] x [y_min，y_max]中的每个点分配颜色

    pltsubplot(1, 3, i + 1)

    Z = clfpredict(flat_grid)

    # 将结果放入彩色的绘图

    Z = Zreshape(gridshape[:-1])

    pltcontourf(multiples, multiples, Z, cmap=pltcmPaired)

    pltaxis('off')

    # 同时，绘制训练数据点

    pltscatter(X[:, 0], X[:, 1], c=targets_train, cmap=pltcmPaired,

                edgecolors=(0, 0, 0))

    plttitle(titles[i])

plttight_layout()

pltshow()

以上就是关于支持向量机（SVM）常见问题全部的内容，包括:支持向量机（SVM）常见问题、MATLAB基本SVM训练效果很好（C值设的比较大），但拿测试集测试的时候，24个测试集输出一个定值，附图、3、RBF内核SVM和线性SVM的决策平面等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！