在进行系统聚类分析时，不同的类间距离计算方法有何区别

聚类分析有两种主要计算方法，分别是凝聚层次聚类（Agglomerative hierarchical method）和K均值聚类（K-Means）。
一、层次聚类
层次聚类又称为系统聚类，首先要定义样本之间的距离关系，距离较近的归为一类，较远的则属于不同的类。可用于定义“距离”的统计量包括了欧氏距离 (euclidean)、马氏距离(manhattan)、 两项距离(binary)、明氏距离(minkowski)。还包括相关系数和夹角余弦。
层次聚类首先将每个样本单独作为一类，然后将不同类之间距离最近的进行合并，合并后重新计算类间距离。这个过程一直持续到将所有样本归为一类为止。在计算类间距离时则有六种不同的方法，分别是最短距离法、最长距离法、类平均法、重心法、中间距离法、离差平方和法。
下面我们用iris数据集来进行聚类分析，在R语言中所用到的函数为hclust。首先提取iris数据中的4个数值变量，然后计算其欧氏距离矩阵。然后将矩阵绘制热图，从图中可以看到颜色越深表示样本间距离越近，大致上可以区分出三到四个区块，其样本之间比较接近。
data=iris[,-5]
diste=dist(data,method='euclidean')
heatmap(asmatrix(diste),labRow = F, labCol = F)
X
然后使用hclust函数建立聚类模型，结果存在model1变量中，其中ward参数是将类间距离计算方法设置为离差平方和法。使用plot(model1)可以绘制出聚类树图。如果我们希望将类别设为3类，可以使用cutree函数提取每个样本所属的类别。
model1=hclust(diste,method='ward')
result=cutree(model1,k=3) 为了显示聚类的效果，我们可以结合多维标度和聚类的结果。先将数据用MDS进行降维，然后以不同的的形状表示原本的分类，用不同的颜色来表示聚类的结果。可以看到setose品种聚类很成功，但有一些virginica品种的花被错误和virginica品种聚类到一起。

聚类分析聚类算法中包含哪些数据类型
许多基于内存的聚类算法采用以下两种数据结构：
(1)数据矩阵(Data Matrix，或称对象一变盘结构)：用p个变量来表示n个对象，例如使用年龄、身高、性别、体重等属性变量来表示对象人，也叫二模矩阵，行与列代表不同实体：

(2)相异度矩阵(Dissimilarity Matrix，又称为对象一对象结构)：存储所有成对的n个对象两两之间的近似性(邻近度)，也叫单模矩阵，行和列代表相同的实体。其中d(ij)是对象i和对象j之间的测量差或相异度。d(i，f)是一个非负的数值，d(ij)越大，两个对象越不同；d (i，j)越接近于0，则两者之间越相似(相近)。

许多聚类算法都是以相异度矩阵为基础的，如果数据是用数据矩阵形式表示，则往往要将其先转化为相异度矩阵。
相异度d(i,j)的具体计算会因所使用的数据类型不同而不同，常用的数据类型包括：区间标度变量，二元变量，标称型、序数型和比例标度型变量，混合类型的变量。

一。简单介绍

按照特征来分；

目的在于人士能够同一个类别内的个体之间具有较高的相似度，而不同的相似度，而不同类别 之间具有较大的差异性，

对变量进行聚类分析

并定制出使用与不同的类别的解决方案

我们为了合理的进行聚类，需要次用适当的额指标来衡量研究对象之间的练习紧密程度

常用的指标有距离和相似系数

相似系数--相关系数

托尼盖的聚类分析方法可能得到不同的分类结果，或者聚类分析方法但是所分析的便令不同，

对于聚类结果的合理性判断比较主观，只要类别内相似性类别建差异性都能得到合理的解释和判断，就认为聚类结果是可行的。但是这样可能会忽略掉一些小众的群体的存在

的道具类结果后，还必须结合行业特点和实际业务发展情况，对结果进行综合Fenix和有前瞻性的解读

------------

二。分析步骤

1确定需要参数与聚类分析的变量

2对数据进行标准化处理

3选择聚类方法和类别的个数

4聚类分析个数解读

21聚类方法

快速聚类（k-means cluster）：也称k均值聚类，他是按照一定的方法选取一批聚类中心点，让个案向最近的聚类中心点聚集形成初始分类，然后按照最近距离原则调整不合理的分类，直到分类合理为止

系统聚类（HIerarchical Cluster）：也称层次聚类，首先将参与聚类的个案（或变量）各视为一类，然后根据俩个类别之间的距离或相似性逐步合并，知道所有个案（或变量）合并为一个大类为止

二阶聚类：也称俩步聚类，一种智能聚类方法，分为俩个步骤1预聚类，根据定义的最大了别数岁个案进行初步归类2正式聚类：根据第一步中得到的初步归类进行在聚类并确定最终聚类的结果，并且在这一部中，会根据一定的统计标准确定聚类的类别数

-----------

三。案例分析

1快速聚类分析

分析--分类--k-均值分类

将沟通的分，业务得分，领导能力得分变量移置变量中--员工ID移置个案标注依据

聚类树种可输入期望值，预计将员工分为3组，因此输入3

保存--勾选聚类成员--继续--k均值聚类分析对话框--继续--确定

12快速聚类分析解读：

01 初始聚类分析

3个数据作为快速聚类的初始位置

本例中分别选择了员工ID为1001 1012 1003三人作为初始聚类的初始位置

第二个输出结果是“迭代历史记录”该结果显示了本次快速聚类分析的一共迭代的次数。迭代的过程可以理解为每个类别与初始位置之间单位距离改变情况，当这个距离变动非常小的时候，迭代就完成了、本例中一共迭代了4次，初始位子最小是82158

第三个输出结果：“最终聚类中心”，该最终聚类中心和初始聚类中心相比；在数值上发生了变化，说明通过迭代的计算过程，每个类别的位置都发生了偏移

第四个输出结果“每个聚类中心得个案项目”，如图10-9所示，该结果显示了每个类别中所包含的数据量，本例中类别1 

本案例中聚类1 包含了4 个员工

类别2 中包含了6个员工

类别三种包含了21个员工

数据文件中也新城了一个名为Qcl_1的变量，如下图所示，其中变量值表示每个案例所属的类别

应该讲这个分类结果和参与聚类分析的变量制作交叉表，计算元工各类别员工在沟通过，业务，领导三方面的各自的平均值，一遍了解每一类别员工的特征

3计算交叉表

分析--表--定制表--将QCL_1拖动到右侧的列区域上，将沟通能力和也无能李得分领导得分这三个变量拖动大右侧（行）区域上，摘要统计中的汇总方式采用默认的平均值--确定

----------

二交叉表

从交叉表中可以看出：

1类别1的员工在各绩效评估指标的平均得分都比较低，可以认为是“工作表表现较弱”的组别

2类别2 的员工在各级评估指标的平均分得分处于中间水平，则认为是“工作表现较强”的组别

3类别3的员工在各绩效评估指标的平均分处于中间水平，则认为是“工作保险中等”的组别

-----------

三系统聚类分析 *** 作

分析--分类--系统聚类--系统聚类分析

将沟通能力，业务能力，领导能力得分移入变量--统计--

将解的范围调整到3-4--继续--图--勾谱系图--在冰柱图下方选择无--继续

系统聚类分析和快速聚类分析的第二个不同之处

1谱系图：也称树状图，以树状的形式展现个案被分类的过程

2冰柱图：以“X"的形式显示全部类别或指定类别的数的分类过程

在实际应用中，俩种图形选择其一种输出即可，但是从应用范围和可读性来看，谱系图更加直观

----

方法--（聚类分析：方法）--组件联结--瓦尔德法--组间联结--测量--平方欧氏距离--计数--卡方测量--平方欧式距离--转换值--一般用z得分--测量应选择区间想--平方欧式距离--z得分--按变量（每个变量进行标准化）-继续

----------

32 系统聚类分析结果解读

1“个案处理摘要”：该结果主要提供了数据量，缺失值信息和测量方法，本例中，该表显示了21个，无确实个案，采用的测量方法为“平方欧式距离”

2“集中计划”--聚类过程

第一步聚类是编号8 和21 的个案合并

第二步聚类是编号8和18的个案合并

3”聚类成员“将所有个案对应的分类结果集中展示。实际上以结果已经心啊是在数据文件中，用clu3_1,clu4_1俩个变量表示（clu是系统局了我i的分类结果变量的前缀，后面的数字为类别数，下划线后免得数字为系统聚类分析结果保存的次数

4"谱系图“该图形能直观地表示出整个聚类的全过程，另外分类姐果用一个相对距离25 的刻度来表示，如果要看某一类别所包含的数据，只要从上面王下切，划过几条横线，对应的个案就分了几类
如果要看2个类别的分组结果，只需要藏刻度为20的地方往下切，第一组编号：8-12，第二组：5-16

------

33继续将分类结构和参与聚类分析的变量制作交叉表，计算各个类别元共公共在沟通，业务，领导三方面呢能李的平均值，一边了解每一类别员工的特征，此外，还要显示出一类别所包含的个案数

分析--描述统计--频率-将clu3_1clu4_1 拖到右侧的变量区域上

显示分类结果和三个变量的交叉表，单机分析--表--定制表--将clu3_1和clu4_1 移入列变量中，将沟通能力，业务能力得分，领导能力得分移入行中--生成交叉表

从频率表可知clu3的类别2和clu4的类别2，clu3的类别3，clu3的类别4的人数一致

clu3与clu4的区别在于，clu4的类别1和类别4 合起来就是clu3的类别1

从交叉表结合频率表可知

1）clu3的类别2和clu4的类别2为同一批员工，业务能李得分是最高的，也就是说，这一类的员工也无能力很强，但是另外俩个能力较为薄弱

2）clu3的类别2分值整体较高，属于表现良好的员工，此类个指标分支均较低，可以认为这一类的员工整体能力较差

3）clu3的类别2分支整体较高，属于表现良好的一批员工，而clu4将其细分为呢能力优秀的类别2 和能力一般的类别3

----------

二阶聚类分析

分析--分类--二阶聚类--二阶聚类分析--将学历/性别变量一致分类变量框中--将沟通能力得分，业务能力得分，领导能力得分三个变量移至连续变量中--输出--二阶聚类：输出--勾选输出下面的透视表，工作数据文件下的创建聚类了成员变量--继续--确定
二阶聚类会自动分析并输出最有聚类数

学习数据挖掘的朋友，对分类算法和聚类算法都很熟悉。无论是分类算法还是聚类算法，都有许多具体的算法来实现具体的数据分析需求。很多时候，我们难以判断选择分类或者聚类的场合是什么。我们最直观的概念是，分类和聚类都是把某个被分析的对象划分到某个类里面，所以觉得这两种方法实际上是差不多一回事。然而当我们学习了许多具体算法之后再回来看，分类和聚类所实现的数据分析功能实际上是大相径庭的，他们之间不仅仅有算法上的具体差异，更重要的是，甚至他们的应用领域和所解决的具体问题都不一样。
1类别是否预先定义是最直观区别
算法书上往往这样解释二者的区别：分类是把某个对象划分到某个具体的已经定义的类别当中，而聚类是把一些对象按照具体特征组织到若干个类别里。虽然都是把某个对象划分到某个类别中，但是分类的类别是已经预定义的，而聚类 *** 作时，某个对象所属的类别却不是预定义的。所以，对象所属类别是否为事先，是二者的最基本区别。而这个区别，仅仅是从算法实现流程来看的。
2二者解决的具体问题不一样
分类算法的基本功能是做预测。我们已知某个实体的具体特征，然后想判断这个实体具体属于哪一类，或者根据一些已知条件来估计感兴趣的参数。比如：我们已知某个人存款金额是10000元，这个人没有结婚，并且有一辆车，没有固定住房，然后我们估计判断这个人是否会涉嫌信用欺诈问题。这就是最典型的分类问题，预测的结果为离散值，当预测结果为连续值时，分类算法可以退化为计量经济学中常见的回归模型。分类算法的根本目标是发现新的模式、新的知识，与数据挖掘数据分析的根本目标是一致的。
聚类算法的功能是降维。假如待分析的对象很多，我们需要归归类，划划简，从而提高数据分析的效率，这就用到了聚类的算法。很多智能的搜索引擎，会将返回的结果，根据文本的相似程度进行聚类，相似的结果聚在一起，用户就很容易找到他们需要的内容。聚类方法只能起到降低被分析问题的复杂程度的作用，即降维，一百个对象的分析问题可以转化为十个对象类的分析问题。聚类的目标不是发现知识，而是化简问题，聚类算法并不直接解决数据分析的问题，而最多算是数据预处理的过程。
3有监督和无监督
分类是有监督的算法，而聚类是无监督的算法。有监督的算法并不是实时的，需要给定一些数据对模型进行训练，有了模型就能预测。新的待估计的对象来了的时候，套进模型，就得到了分类结果。而聚类算法是实时的，换句话说是一次性的，给定统计指标，根据对象与对象之间的相关性，把对象分为若干类。分类算法中，对象所属的类别取决于训练出来的模型，间接地取决于训练集中的数据。而聚类算法中，对象所属的类别，则取决于待分析的其他数据对象。
4数据处理的顺序不同
分类算法中，待分析的数据是一个一个处理的，分类的过程，就像给数据贴标签的过程，来一个数据，我放到模型里，然后贴个标签。
聚类算法中，待分析的数据同时处理，来一堆数据过来，同时给分成几小堆。
因此，数据分类算法和数据聚类算法的最大区别是时效性问题。在已有数据模型的条件下，数据分类的效率往往比数据聚类的效率要高很多，因为一次只是一个对象被处理，而对于聚类结果来说，每当加入一个新的分析对象，类别结果都有可能发生改变，因此很有必要重新对所有的待分析对象进行计算处理。
5典型的分类算法与聚类算法
典型的分类算法有：决策树，神经网络，支持向量机模型，Logistic回归分析，以及核估计等等。
聚类的方法有，基于链接关系的聚类算法，基于中心度的聚类算法，基于统计分布的聚类算法以及基于密度的聚类算法等等。

划分方法 ：K-MEANS（K均值）、K-MEDOIDS（K中心点）、CLARANS算法（基于选择的算法）

层次分析方法 ：BIRCH算法（平衡迭代规约和聚类）、CURE算法（代表点聚类）、CHAMELEON算法(动态模型)

基于密度的算法 ：DBSCAN算法（基于高密度连续区域）、DENCLUE算法（密度分布函数）、OPTICS算法（对象排序识别）

基于网格的方法 ：STING算法（统计信息网络）、CLIOUE算法（聚类高维空间）、WAVE-CLUSTER算法(小波变换)

基于模型的方法 ：统计学方法、神经网络方法

K-Means聚类也叫快速聚类法，在最小化误差函数的基础上将数据划分为预定的类数K。原理简单，便于处理大量数据。

K-Medoids聚类算法不采用簇中对象的平均值作为簇中心，而选用簇中离平均值最近的对象作为簇中心。

①从N个样本数据中随机选取K个对象作为初始的聚类中心；

②分别计算每个样本到各个聚类中心的距离，将对象分配到距离最近的聚类中；

③所有对象分配完成后，重新计算K个聚类的中心；

④与前一次计算的K个聚类中心比较，如果聚类中心发生变化，转第②步，否则转第⑤步。

⑤当质心不发生变化时停止并输出聚类结果。

连续属性：首先对各属性值进行零-均值规范（ zscore ），在进行距离计算。距离计算常用的有：

· 欧几里得距离

· 曼哈顿距离

· 闵可夫斯基距离

文档数据：先将文档数据整理成 文档-词矩阵 格式，再用 余弦相似性 度量。

连续属性的SSE 

 

文档数据的SSE
组内相似性越大，组件差别越大，聚类效果越好。常用的评价方法有：

· purity评价法

· RI评价法

· F值评价法

层次聚类树：Z = linkage(x,method,metric) 

层次聚类或者高斯混合分布聚类模型：T = cluster(Z,’maxclust’,n)  或者 T = cluster(Z,’cutoff’,c)

其中，Z是使用linkage函数构建的层次聚类数，是一个(m-1)×3维矩阵，其中m是观察的样本数；当参数为’maxclust’时，n为聚类的类别；当参数为’cutoff’时，c表示剪枝的阈值。

k均值聚类模型：[IDX,C,sumd,D] = kmeans(x,k,param1,val1,param2,val2,)

其中，IDX返回每个样本数据的类别；C返回k个类别的中心向量；sumd返回每个类别样本到中心向量的距离和；D返回每个样本到中心的距离。

模糊聚类模型：[center,U,obj_fcn] = fcm(data,cluster_n)

其中，U返回最终模糊分区矩阵；obj_fcn为循环过程中目标函数的值。

自组织神经网络聚类模型：net = selforgmap(dimensions,coverSteps,initNeighbor,topologyFcn,distanceFcn) 

---