C#中如何编写PCA算法代码？

      PCA的处理步骤：

1，均值化

2，求协方差矩阵（我知道的有两种方法，这是第一种，按部就班的求，第二种是：（A*A‘/(N-1)））

3，求协方差的特征值和特征向量

4，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵

5，将样本点投影到选取的特征向量上

matlab实现源代码

%PCA算法，matlab实现

function F=pcad(A,n)%A是M*N

%测试实例A=[2.5,0.5,2.2,1.9,3.1,2.3,2,1,1.5,1.12.4,0.7,2.9,2.2,3.0,2.7,1.6,1.1,1.6,0.9]

%结果F=[0.8280，-1.7776，0.9922，0.2742，正首1.6758，0.9129，-0.0991，-1.1446，-0.4380，-1.2238]

%PCA第一步：均值化

X=A-repmat(mean(A,2),1,size(A,2))%去均值

%PCA第二步：求特征胡则协方差矩阵

B=COV(X')%求协方差

%PCA第三步：求特征协方差矩阵的特征值和特征向量

[v,d]=eig(B)%求特征值和特征向量

%PCA第四步：将特征值按照从大到小的顺序排序

d1=diag(d)%取出对角矩阵，也就是把特征值提出来组成一个新的M*1的d1矩阵

[d2 index]=sort(d1) %特征值以升序排序 d2是排序后的结果 index是数排序以前的排名位置裤清棚

cols=size(v,2)% 特征向量矩阵的列数

for i=1:cols   %对特征向量做相反位置的调整 是个降序排列。这个过程把特征值和特征向量同时做相应的降序排列

    vsort(:,i) = v(:,index(cols-i+1) ) % vsort 是一个M*col(注:col一般等于M)阶矩阵，保存的是按降序排列的特征向量,每一列构成一个特征向量

    %vsort保存的是协方差矩阵降序后的特征向量，为M*M阶

    dsort(i) = d1(index(cols-i+1))  % dsort 保存的是按降序排列的特征值，是一维行向量，1*M

end  %完成降序排列

M=vsort(:,1:n)%提取主成分量

%PCA第五步：将样本点投影到选取的特征向量上

F=(X'*M)'%最终的投影

降维是机器学习中很重要的一种思想。在机器学习中经常会碰到一些高维的数据集，它们会占用计算机的内存和硬盘空间，而且在运算时会减缓速度。

降维能够使得数据量被压缩，加快运算速度，减小储存空间，以及方便可视化的观察数据特点。

PS：在降维中，我们减少的是特征种类而不是样本数量，样本数量m不变，特征值数量n会减少。

一种常用的降维算法是主成分分析算法（Principal Component Analysis），简称 PCA 。

PCA是通过找到一个低维的线或面，然后将数据投影到线或面上去，然后通过减少投影误差（即每个特征到投影的距离的平均值）来实现降维。

上图是一个包含二维特征值的样本集。黑色的叉代表样本，红色的线表示找到的低维的线，绿色的叉则是样本投影在线上的位置。而它们的投影距离就是PCA算法所需要考虑的。

通过上图可以看出PCA算法就是找出一个线，在数学上就是一个向量，使得其他样本投影到该向量上的距离最小。

推而广之：

一般情况下，将特征值的维度从n降到k，就是找到k个向量 ，使得样本在这些向量上的投影最小。

例如，2维降到1维，就是找到1个向量，即一条线；3维降到2维，就是找到2向量，即一个平面。

数据处理

假设有m个样本集：

下面需要对数据做一下特征值缩放或者均值归一化。

先计算出平均值，然后用样本值减去平均值。

然后用 替换 ， 可以是数据最大值最小值的范围或者标准差。

算法部分

我们需要的就是矩阵U，他是一个n维方阵 ，它的每一列就是我们需要的向量：

使用 矩阵可以降维：

那么要回到原来的维度上去就需要：

这里我们只能得到原来的近似值

与 近似相等，两者之间的差就是投影误差，或平均平方映射误差：

数据的总变差（total variation），即样本的长度平方的均值：

选择维度k的最小值的方法：

表示誉梁平方投影误差除以总变差的值小于0.01，用PCA的语言称之为 保留了99%的差异性 。

PS：这个值是可以变化的，可以是95%，90%，85%等等。

使用循环验证的办法：

初始化 ，然后计算出 ，通过 计算出 和 ，然后通过上方的公式计算出值是不是小于0.01。

如果不是，增加k值，直到获得最小的k值满足条件。

快捷办法

通过奇异值分解的到的矩阵 是一个n维的对角矩阵：

通过这个矩阵可以来计算：

也可以用下面的式子：

这种方法就非常快捷高效。

我们在训练集上通过PCA获得矩阵 ，在交叉验证春虚巧集和测试集上就不能再使用PCA来计算矩阵了，而是直接用训练集里的矩阵来映射交叉验证集和测试集上的数据。

PCA最常用的就是压缩数据，加速算法的学习，或者可视化数据。

PCA的错误用法，用来防止算法过拟合

算法过拟合的原因之一是算法过于复杂，特征值的维度过高，使用PCA可以降低维度，看起来会有效，但是实际上效果很差。防止算法过拟合还是使用正则化的方法来实现。

还有一个注意点。就是在设计一个机器学扒键习算法时，不用一开始就考虑降维，先在不使用PCA的条件下设计算法，当算法出现问题，例如，算法计算过慢，占用大量内存...，之后当确定需要使用PCA的时候再继续使用。

---