机器学习系列（十八）——主成分分析Principle Component Analysis

主成分分析（PCA）在统计学领域应用非常广泛，同时也是很重要的 非监督机器学习算法 ，PCA主要用于数据的降维。在机器学习中，降余袭维是很重要的一步预处理 *** 作，通过降维，可以发现便于人类理解的特征和提取数据集主要特征。这样一来可以减少要处理的数据量，同时又不破坏数据整体特征，提高了算法的效率。PCA广泛应用于可视化和去噪过程。

以一个简单的数据降维例子介绍PCA：

如图所示是某个数据集的两个特征，现在思考一个问题：能不能将两个特征压缩为一个特征呢？一个简单的处理方法是只取特征1或者特征2，这样就达到了降维的目的：

而且显然取特征1会比特征2有更好的区分度（样本间距更大）。不过，还有没有更好的降维办法呢？考虑这样一条直线：

此时将特征投影到红色直线上进行降维，显然和原始的特征更加接近，同时也更符合特征原始分布。那么如何找到这样一条让样本间距最大的轴呢？

首先给出样本间距定义，考虑到统计学中方差Variance是衡量样神悔本分布离散程度的量，使用方差作为样本间距：

于是问题转化游毁正为找到一个轴，使得样本空间所有点映射到这个轴后，方差最大。

注：这里的 是映射到新轴后的。

在更高维空间，可以类似推广为寻找超平面，PCA具体步骤如下：

对上式进行向量运算，于是即求方向向量w，使得

达到最大值。

至此，问题已转化为求一个目标函数的最优化问题，将使用梯度上升法解决此问题。

推导过程和线性回归的梯度下降推导过程类似，不再给出过程，这里直接给出向量化后的梯度表达式：

接下来用梯度上升法在模拟的二维特征数据集上求解主成分：

该有两个特征数据集的图示如下：

按照求解步骤，首先是demean：

demean之后的图示：

demean之后的数据分布没有改变，只是坐标轴的位置移动了。

梯度上升法：

这里为了验证梯度向量化是否正确，同样进行了梯度调试函数的编写。另外，在用梯度上升法求解PCA问题时需要注意以下问题：

首先初始化w的值，然后对梯度进行调试，接着用向量化的梯度表达式求解，由结果看出调试求解和向量化后的梯度上升求解结果是一样的，这说明我们的梯度表达式是正确的。

然后将求解结果直线绘制出来：

上述求解的就是第一主成分的图示。为了检验求解结果是否正确，使用无噪音的极端数据集：

这个结果和实际数据集的斜率0.75对应的(4,3)单位向量是一致的。

对于PCA的目标函数，和线性回归一样也是有数学解的，当然可以用数学解直接求解。也可以用随机梯度法，小批量梯度法。

在上面的PCA求解例子中，使用的是二维特征。二维的映射到1维，求得的一个主成分也叫第一主成分，但是如果是1000维总不太可能只映射到1维，可能要10个或更多维度。所以除了第一主成分，还要求第二第三...主成分。这在下篇会讲解。

PCA（principle component analysis），即主成分分析法，是一个非监督的机器学习算法，是一种用于探索高维数据结构的技术，主要用于对数据的降维，通过降维可以发现更便于人理解的特征，加快对样本有价值信息的处理速度，此外还可以应用于可视化（降到二维）和去噪。

PCA与LDA算法的基本思想

数据从原陆竖慎来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据早敬中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，纤颂即对数据进行降维处理。

PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。而方差最大的那个维度是主成分。

PCA是比较常见的线性降维方法,通过线性投影将高维数据映射到低维数据中,所期望的是在投影的维度上,新特信烂征自身的方差尽量大,方差越大特征越有效,尽量使产生的新特征间的相关性越小。

PCA算法的具体 *** 作为对所有的样本进行中心化 *** 作,计算样本的协方差矩阵,然后对协方差矩阵做特征值分解,取最大的n个特征值对应的特征向量构造投影矩阵。

再举个栗子：

下面举一个简单的例子，说明PCA的过程。

假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。

首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值向量后，即中心化后的数据集为(0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01)。

现在我们开始求样本的协方差矩阵，由于我们是二维的，则协方差矩阵为：

对于我们的数据，求出协方差矩阵为：

　求出特征值为（0.0490833989， 1.28402771），对应的特征向量分别为：

由于最大的k=1个特征值为1.28402771，对于的k=1个特征向量为 则我们的W=

我们对所有的数据集进行投影 得到PCA降维后的10个一维数据集为：(-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)

在上面的PCA算法中，我们假设存在一个线性的超平面，可以让我们对数据进行投影。但是有些时候，数据不是线性的，不能直接进行PCA降维。这里就需要用到和支持向量机一样的核函数的思想，先把数据集从n维映射到线性可分的高维N>n,然后再从N维降维到一个低维度n', 这里的维度之间满足n'<n<N。

使用了核函数的主成分分析一般称之为核主成分分析(Kernelized PCA, 以下简称KPCA。假设高维空间的数据是由n维空间的数据通过映射ϕ产生。

则对于n维空间的特征分解：

映射为：

通过在高维空间进行协方差矩阵的特征值分解，然后用和PCA一样的方耐坦唤法进行降维。一般来说，映射ϕ不用显式的计算，而是在需要计算的时候通过核函数完成。由于KPCA需要核函数的运算，因此它的计算量要比PCA大很多。

这里对PCA算法做一个总结。作为一个非监督学习的降维方法，它只需要特征值分解，就可以对数据进行压缩，去噪。因此在实际场景应用很广泛。为了克服PCA的一些缺点，出现了很多PCA的变种，比如第六节的为解决非线性降维的KPCA，还有解决内存限制的增量PCA方法Incremental PCA，以及解决稀疏数据降维的PCA方法Sparse PCA等。

PCA算法的主要优点有：

LDA（线性判别分析，Linear Discriminant Analysis）是另一种常用的降维方法，它是有监督的。LDA在模式识别领域（比如人脸识别，舰艇识别昌凯等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。这里需要注意的是，此处的LDA与文本主题模型中的LDA（隐含狄利克雷分布，Latent Dirichlet Allocation）并不相同，他是一种处理文档的主题模型。

LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。

LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。

什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

可能还是有点抽象，我们先看看最简单的情况。假设我们有两类数据 分别为红色和蓝色，如下图所示，这些数据特征是二维的，我们希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。

以上就是使用LDA进行降维的算法流程。实际上LDA除了可以用于降维以外，还可以用于分类。一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。

LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。

这点可以从下图形象的看出，在某些数据分布下LDA比PCA降维较优。

当然，某些某些数据分布下PCA比LDA降维较优，如下图所示：

LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在我们进行图像识别图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。

LDA算法的主要优点有：

参考文章： 刘建平老师的博客园

---