线性判别分析（LDA）

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数皮念据降维方法。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。如下图将二维数据投影到一维直线上：

上图提供了两种方式，哪一种投影方式更好呢？从图上可以直观的看出右边的比左边的投影后分类的效果好，因此右边的投影方式是一种更好地降维方式。

上图直观的给出了LDA分类的主要思想，下图通过数学公式来推导如何得到这个最佳的投影方式。

为了方便解释LDA的原理，我们以二分类为例。

假设现有数据集 D = {(x 1 , y 1 ), (x 1 , y 1 ), ... ,(x m , y m )}，其中任意样本x i 为n维向量。定义N j 为第j类样本的个数，X j 为第j类样本的集合，而μ j 为第j类样本的均值向量，Σ