- 1. 无监督学习
- 2. 聚类
- 3. 聚类任务
- 4. 性能度量
- 4.3 外部指标公式
- 4.4 内部指标公式
- 5. 距离计算
- 5.4 闵可夫斯基距离
- 5.4.2 欧式距离
- 5.4.3 曼哈顿距离/街区距离
- 5.4.8 切比雪夫距离
- 5.5 标准化欧式距离
- 5.6 马氏距离
- 5.7 余弦距离
- 5.8 汉明距离
- 5.9 杰卡德相似系数与杰卡德距离
- 5.10 相关系数与相关距离
- 1.1 无监督学习简介
- "英文："
Unsupervised Learning
- "概念："
根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为"无监督学习"。
- "性质："
1）在"无监督学习"中，训练样本的标记信息是"未知"的。
2）或，训练样本没有标签。
- "分类："
1）确定型无监督学习
代表：自编码、稀疏自编码、降噪自编码
2）概率型无监督学习
代表：限制玻尔兹曼机
- "用途："
希望通过"对无标记训练样本的学习"来揭示数据的内在性质及规律，为进一步的数据分析提供基础。
- "联系实际："
1）缺乏足够的先验知识，因此难以人工标注类别。
2）进行人工类别标注的成本太高。
我们希望，计算机：
1）从庞大的样本集合中选出一些具有代表性的加以标注用于"分类器"的训练。
2）先将所有样本自动分为不同的类别，再由"人类"对这些类别进行"标注"。
3）在无类别信息情况下，寻找"好的特征"。
- "典型例子："
聚类
- 1.2 浅谈无监督与监督
1. "监督学习"
- 白话描述：我给计算机猫和狗的图片，然后告诉计算机哪个是猫，哪个是狗。计算机带着"打好的标签"去学习。
- 代表算法：决策树，朴素贝叶斯，SVM，k-临近算法
2. "无监督学习"
- 白话描述：我给计算机猫和狗的图片，但是不告诉计算机哪个是猫，哪个是狗。计算机带着"无标签"样本，自己从数据间不同特征，去学习。
- 代表算法：K-Means, EM
3. "半监督学习"
- 白话描述：我给计算机猫和狗的图片，然后有的图片告诉计算机哪个是猫，哪个是狗，有的却不告诉。（对应现实中，数据标签丢失）。
4. "强化学习"
- 又叫"人工智能的机器学习"。计算机（智能体），循环（累积），让奖励最大（预期累积奖励最大化）。
- 例子：AlphagGo
5. "深度学习"
- 通过神经网络来实现的，它以人工神经网络为架构，可以做自然语言处理、计算机视觉等。
- 代表算法：卷积神经网络（CNN）,多层感知机（MLP）
- 2.1 聚类算法的主要方法
- "主要方法："
划分方法、层次方法
- 2.2 划分方法（划分聚类算法）
- "思想："
"划分聚类算法"通过优化评价函数把数据集分割为K个部分，它需要K作为输入参数。
- "典型的分割聚类算法："
1）K-means算法
2）K-medoids算法
3）CLARANS算法
- 2.3 层次方法（分层聚类算法）
- "思想："
层次聚类由不同层次的分割聚类组成，层次之间的分割具有嵌套的关系。
- "典型的分层聚类算法："
1）BIRCH算法
2）DBSCAN算法
3）CURE算法
- 3.1 文字描述
- "描述："
1）"聚类"试图将数据集中的样本划分为若干个"不相交"的子集。
2）每个子集称为一个"簇" (cluster)（样本簇亦称为"类"）。
3）每个簇可能对应于一些"潜在的概念(类别)"。
- "例如："
对于上面的样本簇，"人为"的可以命名。如"浅色瓜" "深色瓜"等。
- "拓展："
1）"聚类"虽属于"无监督学习"，但聚类任务中也可使用"有标记"训练样本（半监督）。
2）但样本的类标记与聚类产生的簇有所不同。
- 3.2 数学描述
已
知
：
已知：
已知：
假
定
样
本
集
D
=
{
x
1
,
x
2
,
.
.
.
,
x
m
}
,
m
个
样
本
\ \ \ \ \ \ \ \ \ \ 假定样本集D = \{x_1, x_2, ..., x_m \}, m个样本
假定样本集D={x1,x2,...,xm},m个样本
每 个 样 本 x i = ( x i 1 , x i 2 , . . . , x i n ) , n 个 特 征 （ n 维 特 征 向 量 ） \ \ \ \ \ \ \ \ \ \ 每个样本x_i = (x_{i1}, x_{i2}, ..., x_{in}), n个特征（n维特征向量） 每个样本xi=(xi1,xi2,...,xin),n个特征（n维特征向量）
聚
类
算
法
：
聚类算法：
聚类算法：
聚
类
算
法
将
D
划
分
为
k
个
不
相
交
的
簇
{
C
l
∣
l
=
1
,
2
,
.
.
.
,
k
}
\ \ \ \ \ \ \ \ \ \ 聚类算法将D划分为k个不相交的簇\{C_l | l = 1, 2, ..., k\}
聚类算法将D划分为k个不相交的簇{Cl∣l=1,2,...,k}
数 学 表 达 为 ： C i ⋂ C i + 1 = ∅ 且 D = ⋃ l = 1 k C l \ \ \ \ \ \ \ \ \ \ 数学表达为：C_{i}\bigcap C_{i+1} = \emptyset且D = \bigcup_{l=1}^kC_l 数学表达为：Ci⋂Ci+1=∅且D=⋃l=1kCl
结
果
：
结果：
结果：
用
λ
j
=
{
1
,
2
,
.
.
.
,
k
}
表
示
样
本
x
j
的
簇
标
记
，
x
j
∈
C
λ
j
\ \ \ \ \ \ \ \ \ \ 用\lambda_j = \{1, 2, ..., k\}表示样本x_j的簇标记，x_j\in C_{\lambda_j}
用λj={1,2,...,k}表示样本xj的簇标记，xj∈Cλj
聚 类 的 结 果 : 可 用 包 含 m 个 元 素 的 簇 标 记 向 量 λ = ( λ 1 ; λ 2 ; . . . ; λ m ) 表 示 。 \ \ \ \ \ \ \ \ \ \ 聚类的结果:可用包含m个元素的簇标记向量 λ=(λ_1;λ_2;... ;λ_m) 表示。 聚类的结果:可用包含m个元素的簇标记向量λ=(λ1;λ2;...;λm)表示。
- 3.3 实际用途
聚类在实际中的十大示例
- 聚类既能作为一个"单独过程"，用于找寻数据内在的分布结构，
- 也可作为分类等其他学习任务的"前驱过程".
- 3.4 拓展
- 除了"聚类任务"，还有
1）密度估计（density estimation）
2）异常检测（anomaly detection）
- 4.1 介绍
- "别名/英文："
有效性指标（validity index）
- "作用："
1）评估聚类结果的好坏。
2）当明确了性能度量，可直接将其作为聚类过程的优化目标。
- "聚类性能评估的指标："
同一簇的样本尽可能彼此相似 不同簇的样本尽可能不同。即：
1）"簇内相似度（intra-cluster similarity）" 要高
2）"簇间相似度（inter-cluster similarity）" 要低
- 4.2 聚类性能度量
- "外部指标（external index）："
将聚类结果与某个"参考模型" (reference model) 进行比较。
- "内部指标（inrernal index）："
直接考察聚类结果而不利用任何参考模型。
已
知
：
已知：
已知：
数
据
集
D
=
{
x
1
,
x
2
,
.
.
.
,
x
m
}
\ \ \ \ \ \ \ \ \ \ 数据集D = \{x_1, x_2, ..., x_m\}
数据集D={x1,x2,...,xm}
簇
划
分
C
=
{
C
1
,
C
2
,
.
.
.
,
C
k
}
\ \ \ \ \ \ \ \ \ \ 簇划分C = \{C_1, C_2, ..., C_k\}
簇划分C={C1,C2,...,Ck}
参
考
模
型
的
簇
划
分
C
∗
=
{
C
1
∗
,
.
.
.
,
C
s
∗
}
\ \ \ \ \ \ \ \ \ \ 参考模型的簇划分C^* = \{C^*_1, ..., C^*_s\}
参考模型的簇划分C∗={C1∗,...,Cs∗}
令
λ
表
示
C
对
应
的
簇
标
记
向
量
\ \ \ \ \ \ \ \ \ \ 令\lambda表示C对应的簇标记向量
令λ表示C对应的簇标记向量
令
λ
∗
表
示
C
∗
对
应
的
簇
标
记
向
量
\ \ \ \ \ \ \ \ \ \ 令\lambda^*表示C^*对应的簇标记向量
令λ∗表示C∗对应的簇标记向量
定
义
：
定义：
定义：
a
=
∣
S
S
∣
,
S
S
=
{
(
x
i
,
x
j
)
∣
λ
i
=
λ
j
,
λ
i
∗
=
λ
j
∗
,
i
<
j
}
\ \ \ \ \ \ \ \ \ \ a = |SS|, SS = \{(x_i, x_j) | λ_i=λ_j,λ^*_i=λ^*_j,i
b
=
∣
S
D
∣
,
S
D
=
{
(
x
i
,
x
j
)
∣
λ
i
=
λ
j
,
λ
i
∗
≠
λ
j
∗
,
i
<
j
}
\ \ \ \ \ \ \ \ \ \ b = |SD|, SD = \{(x_i, x_j) | λ_i=λ_j,λ^*_i\neqλ^*_j,i
c
=
∣
D
S
∣
,
D
S
=
{
(
x
i
,
x
j
)
∣
λ
i
≠
λ
j
,
λ
i
∗
=
λ
j
∗
,
i
<
j
}
\ \ \ \ \ \ \ \ \ \ c = |DS|, DS = \{(x_i, x_j) | λ_i\neqλ_j,λ^*_i=λ^*_j,i
d
=
∣
D
D
∣
,
D
D
=
{
(
x
i
,
x
j
)
∣
λ
i
≠
λ
j
,
λ
i
∗
≠
λ
j
∗
,
i
<
j
}
\ \ \ \ \ \ \ \ \ \ d = |DD|, DD = \{(x_i, x_j) | λ_i\neqλ_j,λ^*_i\neqλ^*_j,i
解
释
1
：
解释1：
解释1：
样
本
两
两
配
对
,
每
个
样
本
对
仅
能
出
现
在
一
个
集
合
中
\ \ \ \ \ \ \ \ \ \ 样本两两配对,每个样本对仅能出现在一个集合中
样本两两配对,每个样本对仅能出现在一个集合中
解
释
2
：
解释2：
解释2：
S
S
:
样
本
对
，
在
C
和
C
∗
中
都
隶
属
于
相
同
簇
\ \ \ \ \ \ \ \ \ \ SS:样本对，在C和C^*中都隶属于相同簇
SS:样本对，在C和C∗中都隶属于相同簇
S D : 样 本 对 ， 在 C 中 隶 属 于 相 同 簇 ， 但 在 C ∗ 中 隶 属 于 不 同 簇 \ \ \ \ \ \ \ \ \ \ SD:样本对，在C中隶属于相同簇，但在C^*中隶属于不同簇 SD:样本对，在C中隶属于相同簇，但在C∗中隶属于不同簇
D S : 样 本 对 ， 在 C 中 隶 属 于 不 同 簇 ， 但 在 C ∗ 中 隶 属 于 相 同 簇 \ \ \ \ \ \ \ \ \ \ DS:样本对，在C中隶属于不同簇，但在C^*中隶属于相同簇 DS:样本对，在C中隶属于不同簇，但在C∗中隶属于相同簇
D D : 样 本 对 ， 在 C 和 C ∗ 中 都 隶 属 于 不 同 簇 \ \ \ \ \ \ \ \ \ \ DD:样本对，在C和C^*中都隶属于不同簇 DD:样本对，在C和C∗中都隶属于不同簇
结
论
：
结论：
结论：
J
a
c
c
a
r
d
系
数
：
J
C
=
a
a
+
b
+
c
\ \ \ \ \ \ \ \ \ \ Jaccard系数：JC = \frac{a}{a+b+c}
Jaccard系数：JC=a+b+ca
{}
F
M
指
数
：
F
M
I
=
a
a
+
b
∗
a
a
+
c
\ \ \ \ \ \ \ \ \ \ FM指数：FMI =\sqrt{\frac{a}{a+b} *\frac{a}{a+c}}
FM指数：FMI=a+ba∗a+ca
{}
R
a
n
d
指
数
：
R
I
=
2
(
a
+
d
)
m
(
m
−
1
)
\ \ \ \ \ \ \ \ \ \ Rand指数：RI = \frac{2(a+d)}{m(m-1)}
Rand指数：RI=m(m−1)2(a+d)
{}
（
三
个
都
是
[
0
,
1
]
，
值
越
大
，
性
能
度
量
越
大
，
越
好
）
（三个都是[0,1]，值越大，性能度量越大，越好）
（三个都是[0,1]，值越大，性能度量越大，越好）
已
知
：
已知：
已知：
聚
类
结
果
的
簇
划
分
C
=
{
C
1
,
.
.
.
,
C
k
}
\ \ \ \ \ \ \ \ \ \ 聚类结果的簇划分C = \{C_1,...,C_k\}
聚类结果的簇划分C={C1,...,Ck}
定
义
：
定义：
定义：
a
v
g
(
C
)
=
2
∣
C
∣
(
∣
C
∣
−
1
)
∑
1
≤
i
<
j
≤
∣
C
∣
d
i
s
t
(
x
i
,
x
j
)
\ \ \ \ \ \ \ \ \ \ avg(C)=\frac{2}{|C|(|C|-1)}\sum_{1\leq i
d
i
a
m
(
C
)
=
m
a
x
1
≤
i
<
j
≤
∣
C
∣
d
i
s
t
(
x
i
,
x
j
)
\ \ \ \ \ \ \ \ \ \ diam(C)=max_{1\leq i
d m i n ( C i , C j ) = m i n x i ∈ C i , x j ∈ C j d i s t ( x i , x j ) \ \ \ \ \ \ \ \ \ \ d_{min}(C_i,C_j)=min_{x_i\in C_i,x_j\in C_j}dist(x_i,x_j) dmin(Ci,Cj)=minxi∈Ci,xj∈Cjdist(xi,xj)
d c e n ( C i , C j ) = d i s t ( u i , u j ) \ \ \ \ \ \ \ \ \ \ d_{cen}(C_i,C_j)=dist(u_i,u_j) dcen(Ci,Cj)=dist(ui,uj)
解
释
：
解释：
解释：
d
i
s
t
(
x
i
,
x
j
)
:
用
于
计
算
两
个
样
本
之
间
的
距
离
\ \ \ \ \ \ \ \ \ \ dist(x_i,x_j):\ \ 用于计算两个样本之间的距离
dist(xi,xj): 用于计算两个样本之间的距离
u : 代 表 簇 的 中 心 点 ( u = 1 ∣ C ∣ ∑ 1 ≤ i ≤ ∣ C ∣ ) \ \ \ \ \ \ \ \ \ \ u:代表簇的中心点(u=\frac{1}{|C|}\sum_{1\leq i\leq |C|}) u:代表簇的中心点(u=∣C∣1∑1≤i≤∣C∣)
a v g ( C ) 对 应 于 簇 C 内 样 本 间 的 平 均 距 离 \ \ \ \ \ \ \ \ \ \ avg(C)对应于簇C内样本间的平均距离 avg(C)对应于簇C内样本间的平均距离
d i a m ( C ) 对 应 于 簇 C 内 样 本 间 的 最 远 距 离 \ \ \ \ \ \ \ \ \ \ diam(C)对应于簇C内样本间的最远距离 diam(C)对应于簇C内样本间的最远距离
d m i n ( C i , C j ) 对 应 于 簇 C i 与 C j 最 近 样 本 间 的 距 离 \ \ \ \ \ \ \ \ \ \ d_{min}(C_i,C_j)对应于簇C_i与C_j最近样本间的距离 dmin(Ci,Cj)对应于簇Ci与Cj最近样本间的距离
d c e n ( C i , C j ) 对 应 于 簇 C i 与 C j 中 心 点 的 距 离 \ \ \ \ \ \ \ \ \ \ d_{cen}(C_i,C_j)对应于簇C_i与C_j中心点的距离 dcen(Ci,Cj)对应于簇Ci与Cj中心点的距离
结
论
：
结论：
结论：
D
B
指
数
：
D
B
I
=
1
k
∑
i
=
1
k
m
a
x
(
a
v
g
(
C
i
)
+
a
v
g
(
C
j
)
d
c
e
n
(
u
i
,
u
j
)
)
,
i
≠
j
\ \ \ \ \ \ \ \ \ \ DB指数：DBI=\frac{1}{k}\sum_{i=1}^kmax(\frac{avg(C_i)+avg(C_j)}{d_{cen(u_i,u_j)}}),i\neq j
DB指数：DBI=k1∑i=1kmax(dcen(ui,uj)avg(Ci)+avg(Cj)),i=j
D u n n 指 数 ： D I = m i n 1 ≤ i ≤ k { m i n ( d m i n ( C i , C j ) m a x 1 ≤ l ≤ k d i a m ( C l ) ) } , i ≠ j \ \ \ \ \ \ \ \ \ \ Dunn指数：DI=min_{1\leq i\leq k}\{min(\frac{d_{min}(C_i,C_j)}{max_{1\leq l\leq k}diam(C_l)})\},i\neq j Dunn指数：DI=min1≤i≤k{min(max1≤l≤kdiam(Cl)dmin(Ci,Cj))},i=j
（DBI越小越好，DI越大越好）
5. 距离计算- 5.1 距离度量
英文：
\ \ \ \ \ \ \ \ \ \ {}
distance measure
概念：
\ \ \ \ \ \ \ \ \ \ {}
距离度量是数学中的法则，用在某些空间中测量沿曲线的距离和曲线间的角度，包含曲线所在空间的曲率的信息。（就是，能够作为度量的距离）
基本性质：
非
负
性
：
d
i
s
t
(
x
i
,
x
j
)
≥
0
\ \ \ \ \ \ \ \ \ \ 非负性：dist(x_i,x_j)\geq 0
非负性：dist(xi,xj)≥0
同 一 性 ： d i s t ( x i , x j ) = 0 当 且 仅 当 x i = x j \ \ \ \ \ \ \ \ \ \ 同一性：dist(x_i,x_j)=0当且仅当x_i=x_j 同一性：dist(xi,xj)=0当且仅当xi=xj
对 称 性 ： d i s t ( x i , x j ) = d i s t ( x j , x i ) \ \ \ \ \ \ \ \ \ \ 对称性：dist(x_i,x_j)=dist(x_j,x_i) 对称性：dist(xi,xj)=dist(xj,xi)
直 递 性 ( 三 角 不 等 式 ) ： d i s t ( x i , x j ) ≤ d i s t ( x i , x k ) + d i s t ( x k , x j ) \ \ \ \ \ \ \ \ \ \ 直递性(三角不等式)：dist(x_i,x_j)\leq dist(x_i,x_k)+dist(x_k,x_j) 直递性(三角不等式)：dist(xi,xj)≤dist(xi,xk)+dist(xk,xj)
- 5.2 相似度度量
- "英文："
similarity measure
- "定义："
1）相似性度量，即综合评定两个事物之间相近程度的一种度量。
2）两个事物越接近，它们的相似性度量也就越大，
3）而两个事物越疏远，它们的相似性度量也就越小。
4）一般用距离，来代表相似度。
- "性质："
1）距离越大，相似度越小
2）用于"相似度度量"的距离未必一定要满足"距离度量"的所有基本性质
- "常用的相似性度量："
1）相关系数（衡量变量之间的接近程度）
2）相似系数（衡量样品之间接近程度）
3）匹配系数（定性数据）
4）一致度（定性数据）
- 5.3 非度量距离
英文：
non-metric distance
例如：
"人"和"马"分别与"人马"相似，但"人"和"马"很不相似。
可以说明：
"人"、"马"与"人马"之间的距离都比较小 但"人"与"马"之间的距离很大。
结论：
以上就是非度量距离
- 5.4.1 闵可夫斯基距离公式
英
文
：
英文：
英文：
\ \ \ \ \ \ \ \ \ \ {}
Minkowski Distance
公
式
：
公式：
公式：
d
i
s
t
m
k
(
x
i
,
x
j
)
=
(
∑
u
=
1
n
∣
x
i
u
−
x
j
u
∣
p
)
1
p
\ \ \ \ \ \ \ \ \ \ dist_{mk}(x_i,x_j)=(\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}
distmk(xi,xj)=(∑u=1n∣xiu−xju∣p)p1
定
义
：
定义：
定义：
x
i
=
(
x
i
1
;
x
i
2
;
.
.
.
;
x
i
n
)
\ \ \ \ \ \ \ \ \ \ x_i=(x_{i1};x_{i2};...;x_{in})
xi=(xi1;xi2;...;xin)
x
j
=
(
x
j
1
;
x
j
2
;
.
.
.
;
x
j
n
)
\ \ \ \ \ \ \ \ \ \ x_j=(x_{j1};x_{j2};...;x_{jn})
xj=(xj1;xj2;...;xjn)
易
证
：
易证：
易证：
有
绝
对
值
，
满
足
距
离
度
量
的
非
负
性
\ \ \ \ \ \ \ \ \ \ 有绝对值，满足距离度量的非负性
有绝对值，满足距离度量的非负性
有
绝
对
值
，
减
数
与
被
减
数
可
以
交
换
，
满
足
同
一
行
\ \ \ \ \ \ \ \ \ \ 有绝对值，减数与被减数可以交换，满足同一行
有绝对值，减数与被减数可以交换，满足同一行
同
理
，
有
第
二
条
，
满
足
对
称
性
\ \ \ \ \ \ \ \ \ \ 同理，有第二条，满足对称性
同理，有第二条，满足对称性
当
p
≥
1
时
，
满
足
直
递
性
\ \ \ \ \ \ \ \ \ \ 当p\geq1时，满足直递性
当p≥1时，满足直递性
当
0
≤
p
<
1
时
，
不
满
足
直
递
性
，
其
余
三
性
满
足
\ \ \ \ \ \ \ \ \ \ 当0\leq p<1时，不满足直递性，其余三性满足
当0≤p<1时，不满足直递性，其余三性满足
{}
{}
求
证
1
:
p
趋
向
无
穷
大
时
，
闵
可
夫
斯
基
距
离
等
于
对
应
分
量
的
最
大
绝
对
距
离
：
求证1:p趋向无穷大时，闵可夫斯基距离等于对应分量的最大绝对距离：
求证1:p趋向无穷大时，闵可夫斯基距离等于对应分量的最大绝对距离：
（
即
，
lim
p
→
+
∞
(
∑
u
=
1
n
∣
x
i
u
−
x
j
u
∣
p
)
1
p
=
m
a
x
u
∣
x
i
u
−
x
j
u
∣
）
（即，\lim_{p\to +\infty} (\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}=max_u|x_{iu}-x_{ju}|）
（即，limp→+∞(∑u=1n∣xiu−xju∣p)p1=maxu∣xiu−xju∣）
证
明
：
证明：
证明：
假
设
，
a
=
m
a
x
u
∣
x
i
u
−
x
j
u
∣
，
当
p
趋
向
无
穷
大
时
成
立
\ \ \ \ \ \ \ \ \ \ 假设，a=max_u|x_{iu}-x_{ju}|，当p趋向无穷大时成立
假设，a=maxu∣xiu−xju∣，当p趋向无穷大时成立
得 ， l i m p → + ∞ ( ∑ u = 1 n ∣ x i u − x j u ∣ p ) 1 p ≥ lim p → + ∞ ( a p ) 1 p = a \ \ \ \ \ \ \ \ \ \ \ 得，lim_{p\to +\infty} (\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}\geq\lim_{p\to +\infty}(a^p)^\frac{1}{p}=a 得，limp→+∞(∑u=1n∣xiu−xju∣p)p1≥limp→+∞(ap)p1=a
又 因 为 ， l i m p → + ∞ ( ∑ u = 1 n ∣ x i u − x j u ∣ p ) 1 p ≤ lim p → + ∞ ( n a p ) 1 p = a \ \ \ \ \ \ \ \ \ \ \ 又因为，lim_{p\to +\infty} (\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}\leq\lim_{p\to +\infty}(na^p)^\frac{1}{p}=a 又因为，limp→+∞(∑u=1n∣xiu−xju∣p)p1≤limp→+∞(nap)p1=a
所 以 ， lim p → + ∞ ( ∑ u = 1 n ∣ x i u − x j u ∣ p ) 1 p = m a x u ∣ x i u − x j u ∣ \ \ \ \ \ \ \ \ \ \ \ 所以，\lim_{p\to +\infty} (\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}=max_u|x_{iu}-x_{ju}| 所以，limp→+∞(∑u=1n∣xiu−xju∣p)p1=maxu∣xiu−xju∣
（
同
理
，
p
→
−
∞
时
，
同
样
满
足
）
\ \ \ \ \ \ \ \ \ \ \ （同理，p\to -\infty时，同样满足）
（同理，p→−∞时，同样满足）
{}
{}
求
证
2
:
闵
可
夫
斯
基
距
离
（
p
≥
1
）
满
足
直
递
性
：
求证2:闵可夫斯基距离（p\geq 1）满足直递性：
求证2:闵可夫斯基距离（p≥1）满足直递性：
(
即
，
d
i
s
t
m
k
(
x
i
,
x
j
)
≤
d
i
s
t
m
k
(
x
i
,
x
k
)
+
d
i
s
t
m
k
(
x
k
,
x
j
)
)
(即，dist_{mk}(x_i,x_j)\leq dist_{mk}(x_i,x_k)+dist_{mk}(x_k,x_j))
(即，distmk(xi,xj)≤distmk(xi,xk)+distmk(xk,xj))
证
明
:
证明:
证明:
已
知
，
p
≥
1
\ \ \ \ \ \ \ \ \ \ 已知，p\geq1
已知，p≥1
已 知 ， lim p → + ∞ ( ∑ u = 1 n ∣ x i u − x j u ∣ p ) 1 p = m a x u ∣ x i u − x j u ∣ \ \ \ \ \ \ \ \ \ \ 已知，\lim_{p\to +\infty} (\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}=max_u|x_{iu}-x_{ju}| 已知，limp→+∞(∑u=1n∣xiu−xju∣p)p1=maxu∣xiu−xju∣
所 以 ， 不 等 式 两 边 取 极 值 : \ \ \ \ \ \ \ \ \ \ 所以，不等式两边取极值: 所以，不等式两边取极值:
得 ， \ \ \ \ \ \ \ \ \ \ 得， 得，
d i s t m k ( x i , x j ) = m a x u 1 ∣ x i u 1 − x j u 1 ∣ \ \ \ \ \ \ \ \ \ \ dist_{mk}(x_i,x_j)=max_{u1}|x_{iu1}-x_{ju1}| distmk(xi,xj)=maxu1∣xiu1−xju1∣
d i s t m k ( x i , x k ) + d i s t m k ( x k , x j ) ) = m a x u 2 ∣ x i u 2 − x k u 2 ∣ + m a x u 3 ∣ x k u 3 − x j u 3 ∣ \ \ \ \ \ \ \ \ \ \ dist_{mk}(x_i,x_k)+dist_{mk}(x_k,x_j))=max_{u2}|x_{iu2}-x_{ku2}|+max_{u3}|x_{ku3}-x_{ju3}| distmk(xi,xk)+distmk(xk,xj))=maxu2∣xiu2−xku2∣+maxu3∣xku3−xju3∣
令 u 1 = n , u 2 = u 3 = u \ \ \ \ \ \ \ \ \ \ 令u_1=n,u_2=u_3=u 令u1=n,u2=u3=u
得 ， \ \ \ \ \ \ \ \ \ \ 得， 得，
d i s t m k ( x i , x j ) = ∣ x i n − x j n ∣ \ \ \ \ \ \ \ \ \ \ dist_{mk}(x_i,x_j)=|x_{in}-x_{jn}| distmk(xi,xj)=∣xin−xjn∣
d i s t m k ( x i , x k ) + d i s t m k ( x k , x j ) ) = ∣ x i u − x k u ∣ + ∣ x j u − x k u ∣ \ \ \ \ \ \ \ \ \ \ dist_{mk}(x_i,x_k)+dist_{mk}(x_k,x_j))=|x_{iu}-x_{ku}|+|x_{ju}-x_{ku}| distmk(xi,xk)+distmk(xk,xj))=∣xiu−xku∣+∣xju−xku∣
∣ x i n − x j n ∣ = ∣ ( x i n − x k u ) − ( x j n − x k u ) ∣ \ \ \ \ \ \ \ \ \ \ |x_{in}-x_{jn}|=|(x_{in}-x_{ku})-(x_{jn}-x_{ku})| ∣xin−xjn∣=∣(xin−xku)−(xjn−xku)∣
令 ∣ x i u − x k u ∣ = a , ∣ x j u − x k u ∣ = b 。 a , b 都 为 正 \ \ \ \ \ \ \ \ \ \ 令|x_{iu}-x_{ku}|=a,|x_{ju}-x_{ku}|=b。a,b都为正 令∣xiu−xku∣=a,∣xju−xku∣=b。a,b都为正
∣ a − b ∣ 与 a + b \ \ \ \ \ \ \ \ \ \ |a-b|与a+b ∣a−b∣与a+b
最 终 ： d i s t m k ( x i , x j ) ≤ d i s t m k ( x i , x k ) + d i s t m k ( x k , x j ) ) \ \ \ \ \ \ \ \ \ \ 最终：dist_{mk}(x_i,x_j)\leq dist_{mk}(x_i,x_k)+dist_{mk}(x_k,x_j)) 最终：distmk(xi,xj)≤distmk(xi,xk)+distmk(xk,xj))
5.4.2 欧式距离
英
文
：
英文：
英文：
\ \ \ \ \ \ \ \ \ \ {}
Euclidean distance
定
义
：
定义：
定义：
p
=
2
，
闵
可
夫
斯
基
距
离
即
欧
氏
距
离
\ \ \ \ \ \ \ \ \ \ p=2，闵可夫斯基距离即欧氏距离
p=2，闵可夫斯基距离即欧氏距离
公
式
：
公式：
公式：
d
i
s
t
e
d
(
x
i
,
x
j
)
=
∣
∣
x
i
−
x
j
∣
∣
2
=
∑
u
=
1
n
(
x
i
u
−
x
j
u
)
2
\ \ \ \ \ \ \ \ \ \ dist_{ed}(x_i,x_j)=||x_i-x_j||_2=\sqrt{\sum_{u=1}^n(x_{iu}-x_{ju})^2}
disted(xi,xj)=∣∣xi−xj∣∣2=∑u=1n(xiu−xju)2
a
(
x
1
,
y
1
)
与
b
(
x
2
,
y
2
)
之
间
的
欧
式
距
离
：
a(x_1,y_1)与b(x_2,y_2)之间的欧式距离：
a(x1,y1)与b(x2,y2)之间的欧式距离：
d
i
s
t
e
d
(
a
,
b
)
=
∣
∣
a
−
b
∣
∣
2
=
(
x
1
−
x
2
)
2
+
(
y
1
−
y
2
)
2
\ \ \ \ \ \ \ \ \ \ dist_{ed}(a,b)=||a-b||_2=\sqrt{{(x_1-x_2)^2}+(y_1-y_2)^2}
disted(a,b)=∣∣a−b∣∣2=(x1−x2)2+(y1−y2)2
英
文
：
英文：
英文：
\ \ \ \ \ \ \ \ \ \ {}
Manhattan distance/city block distance
定
义
：
定义：
定义：
p
=
1
，
闵
可
夫
斯
基
距
离
即
曼
哈
顿
距
离
\ \ \ \ \ \ \ \ \ \ p=1，闵可夫斯基距离即曼哈顿距离
p=1，闵可夫斯基距离即曼哈顿距离
公
式
：
公式：
公式：
d
i
s
t
m
a
n
(
x
i
,
x
j
)
=
∣
∣
x
i
−
x
j
∣
∣
1
=
∑
u
=
1
n
∣
x
i
u
−
x
j
u
∣
\ \ \ \ \ \ \ \ \ \ dist_{man}(x_i,x_j)=||x_i-x_j||_1=\sum_{u=1}^n|x_{iu}-x_{ju}|
distman(xi,xj)=∣∣xi−xj∣∣1=∑u=1n∣xiu−xju∣
a
(
x
1
,
y
1
)
与
b
(
x
2
,
y
2
)
之
间
的
曼
哈
顿
距
离
：
a(x_1,y_1)与b(x_2,y_2)之间的曼哈顿距离：
a(x1,y1)与b(x2,y2)之间的曼哈顿距离：
d
i
s
t
m
a
n
(
a
,
b
)
=
∣
∣
a
−
b
∣
∣
1
=
∣
x
1
−
x
2
∣
+
∣
y
1
−
y
2
∣
\ \ \ \ \ \ \ \ \ \ dist_{man}(a,b)=||a-b||_1=|x_1-x_2|+|y_1-y_2|
distman(a,b)=∣∣a−b∣∣1=∣x1−x2∣+∣y1−y2∣
- 5.4.4 闵可夫斯基距离可用于有序属性
1. "连续属性/数值属性"与"离散属性/列名属性"
- 前者在定义域上有无穷多个可能的取值
- 后者在定义域上是有限个取值
2. "有序属性（ordinal attribute）"与"无序属性（nonordinal attribute）"
- 能直接在属性值上计算距离,，这样的属性称为"有序属性"
- 不能直接在属性值上计算距离，称为"无序属性"
3. "闵可夫斯基距离可用于有序属性"
- 5.4.5 对无序属性采用VDM
英
文
：
英文：
英文：
\ \ \ \ \ \ \ \ \ \ {}
Value Difference Metric
定
义
：
定义：
定义：
m
u
,
a
:
表
示
属
性
u
上
取
值
为
a
的
样
本
数
\ \ \ \ \ \ \ \ \ \ m_{u,a}:表示属性u上取值为a的样本数
mu,a:表示属性u上取值为a的样本数
m u , a , i : 表 示 在 第 i 个 样 本 簇 中 在 属 性 u 上 取 值 为 a 的 样 本 数 \ \ \ \ \ \ \ \ \ \ m_{u,a,i}:表示在第i个样本簇中在属性u上取值为a的样本数 mu,a,i:表示在第i个样本簇中在属性u上取值为a的样本数
k : 样 本 簇 数 \ \ \ \ \ \ \ \ \ \ k:样本簇数 k:样本簇数
则 ， （ 无 序 ） 属 性 u 上 两 个 离 散 值 a 与 b 之 间 的 V D M 距 离 为 ： \ \ \ \ \ \ \ \ \ \ 则，（无序）属性u上两个离散值a与b之间的VDM距离为： 则，（无序）属性u上两个离散值a与b之间的VDM距离为：
公
式
：
公式：
公式：
V
D
M
p
(
a
,
b
)
=
∑
i
=
1
k
∣
m
u
,
a
,
i
m
u
,
a
−
m
u
,
b
,
i
m
u
,
b
∣
p
\ \ \ \ \ \ \ \ \ \ VDM_p(a,b)=\sum_{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}|^p
VDMp(a,b)=∑i=1k∣mu,amu,a,i−mu,bmu,b,i∣p
- 5.4.6 将闵可夫斯基距离和 VDM 结合即可处理混合属性
定
义
：
定义：
定义：
假
定
有
n
c
个
有
序
属
性
\ \ \ \ \ \ \ \ \ \ 假定有n_c个有序属性
假定有nc个有序属性
则
有
n
−
n
c
个
无
序
属
性
\ \ \ \ \ \ \ \ \ \ 则有n-n_c个无序属性
则有n−nc个无序属性
不
失
一
般
性
，
令
有
序
属
性
排
列
在
无
序
属
性
之
前
\ \ \ \ \ \ \ \ \ \ 不失一般性，令有序属性排列在无序属性之前
不失一般性，令有序属性排列在无序属性之前
公
式
：
公式：
公式：
M
i
n
k
o
v
D
M
p
(
x
i
,
x
j
)
=
(
∑
u
=
1
n
c
∣
x
i
u
−
x
j
u
∣
p
+
∑
u
=
n
c
+
1
n
V
D
M
(
x
i
u
,
x
j
u
)
)
1
p
\ \ \ \ \ \ \ \ \ \ MinkovDM_p(x_i,x_j)=(\sum_{u=1}^{n_c}|x_{iu}-x_{ju}|^p+\sum_{u=n_c+1}^nVDM(x_{iu},x_{ju}))^\frac{1}{p}
MinkovDMp(xi,xj)=(∑u=1nc∣xiu−xju∣p+∑u=nc+1nVDM(xiu,xju))p1
- 5.4.7 加权距离
英
文
：
英文：
英文：
\ \ \ \ \ \ \ \ \ \ {}
weighted distance
意
义
：
意义：
意义：
当
样
本
空
间
中
不
属
性
的
重
要
性
不
同
时
，
可
使
用
"
加
权
距
离
"
\ \ \ \ \ \ \ \ \ \ 当样本空间中不 属性的重要性不同时 ，可使用" 加权距离"
当样本空间中不属性的重要性不同时，可使用"加权距离"
例
子
:
例子:
例子:
加
权
闵
可
夫
斯
基
距
离
：
d
i
s
t
w
m
k
(
x
i
,
x
j
)
=
(
w
1
∗
∣
x
i
1
−
x
j
1
∣
p
+
.
.
.
+
w
n
∗
∣
x
i
n
−
x
j
n
∣
p
)
1
p
\ \ \ \ \ \ \ \ \ \ 加权闵可夫斯基距离：dist_{wmk}(x_i,x_j)=(w1*|x_{i1}-x_{j1}|^p+...+w_n*|x_{in}-x_{jn}|^p)^\frac{1}{p}
加权闵可夫斯基距离：distwmk(xi,xj)=(w1∗∣xi1−xj1∣p+...+wn∗∣xin−xjn∣p)p1
注
意
：
注意：
注意：
1
）
w
i
≥
0
(
i
=
1
,
2
,
.
.
.
,
n
)
表
征
不
同
属
性
的
重
要
性
\ \ \ \ \ \ \ \ \ \ 1） w_i\geq0(i=1,2,...,n)表征不同属性的重要性
1）wi≥0(i=1,2,...,n)表征不同属性的重要性
2 ） 一 般 ∑ i = 1 n w i = 1 \ \ \ \ \ \ \ \ \ \ 2）一般\sum_{i=1}^nw_i=1 2）一般∑i=1nwi=1
5.4.8 切比雪夫距离
英
文
：
英文：
英文：
\ \ \ \ \ \ \ \ \ \ {}
Chebyshev Distance
定
义
：
定义：
定义：
p
=
∞
，
闵
可
夫
斯
基
距
离
即
切
比
雪
夫
距
离
\ \ \ \ \ \ \ \ \ \ p=\infin，闵可夫斯基距离即切比雪夫距离
p=∞，闵可夫斯基距离即切比雪夫距离
公
式
：
公式：
公式：
d
i
s
t
c
d
(
x
i
,
x
j
)
=
lim
p
→
∞
(
∑
u
=
1
n
∣
x
i
u
−
x
j
u
∣
p
)
1
p
\ \ \ \ \ \ \ \ \ \ dist_{cd}(x_i,x_j)=\lim_{p\to \infty}(\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^{\frac{1}{p}}
distcd(xi,xj)=limp→∞(∑u=1n∣xiu−xju∣p)p1
由
上
面
的
求
证
1
：
由上面的求证1：
由上面的求证1：
d
i
s
t
c
d
(
x
i
,
x
j
)
=
m
a
x
(
∣
x
i
u
−
x
j
u
∣
)
\ \ \ \ \ \ \ \ \ \ dist_{cd}(x_i,x_j)=max(|x_{iu}-x_{ju}|)
distcd(xi,xj)=max(∣xiu−xju∣)
a
(
x
1
,
y
1
)
与
b
(
x
2
,
y
2
)
之
间
的
切
比
雪
夫
距
离
：
a(x_1,y_1)与b(x_2,y_2)之间的切比雪夫距离：
a(x1,y1)与b(x2,y2)之间的切比雪夫距离：
d
i
s
t
c
d
(
x
i
,
x
j
)
=
m
a
x
(
∣
x
1
−
x
2
∣
,
∣
y
1
−
y
2
∣
)
\ \ \ \ \ \ \ \ \ \ dist_{cd}(x_i,x_j)=max(|x_1-x_2|,|y_1-y_2|)
distcd(xi,xj)=max(∣x1−x2∣,∣y1−y2∣)
- 概念
- "英文："
Standardized Euclidean Distance
- "特点："
1）针对欧式距离的缺点————数据的单位可能不一样。
例如：x1(5kg,10cm),x2(5kg,15cm)
2）欧式距离等高线是圆，而标准化欧式距离等高线是椭圆。
3）标准化后，数据的单位就是统一的（单位：标准差或均方差）。
- "标准化公式："
标准化后的值=（标准化前的值-分量的均值）/分量的标准差(也叫均方差)
注：
1. 均方差 = 标准差
2. 标准差^2 = 方差
3. 如何计算标准差？
例如：2，3，4，5，6，8
1）计算平均值：
(2 + 3 + 4 + 5+ 6 + 8)/6 = 30 /6 = 5
2）计算方差：
(2 – 5)^2 = (-3)^2= 9
(3 – 5)^2 = (-2)^2= 4
(4 – 5)^2 = (-1)^2= 0
(5 – 5)^2 = 0^2= 0
(6 – 5)^2 = 1^2= 1
(8 – 5)^2 = 3^2= 9
3）计算平均方差：
(9 + 4 + 0 + 0+ 1 + 9)/6 = 24/6 = 4
4）计算标准差：
√4 = 2
-
公式
d i s t s e d ( x i , x j ) = ∑ u = 1 n ( x i u − x j u σ u ) 2 dist_{sed}(x_i,x_j)=\sqrt{\sum_{u=1}^n(\frac{x_{iu}-x_{ju}}{\sigma_u})^2} distsed(xi,xj)=u=1∑n(σuxiu−xju)2 -
代码示例
from scipy.spatial import distance
import numpy as np
# 标准差
sigma = np.array([[2,1],[1,2]])
q = [0, 0]
x_1 = [175, 60]
x_2 = [165, 65]
# Calculate standardized Euclidean distances
d_1 = distance.seuclidean(q, x_1, np.diag(sigma))
d_2 = distance.seuclidean(q, x_2, np.diag(sigma))
print(d_1)
print(d_2)
130.8147545195113
125.39936203984453
- 概念
- "别名："
马哈距离
- "英文："
Mahalanobis Distance
- "特点："
1）基于统计的距离
2）把标准差换为：协方差矩阵的逆矩阵
3）协方差矩阵：多维随机变量的协方差矩阵
- 公式
d i s t m a h a ( x i , x j ) = ∑ u = 1 n ( x i u − x j u ∑ − 1 ) 2 dist_{maha}(x_i,x_j)=\sqrt{\sum_{u=1}^n(\frac{x_{iu}-x_{ju}}{\sum^{-1}})^2} distmaha(xi,xj)=u=1∑n(∑−1xiu−xju)2
- 例子
比如，有两个样本，每个样本两个特征值（二维）
（可以看成：身高，体重）
x_1 = [175, 60]
x_2 = [165, 65]
设协方差矩阵为：
SIGMA = [[2, 1], [1, 2]]
取逆：（二阶：行列式取倒*[主对调，副取反]）
inv(SIGMA) = 1/3*[[2, -1], [-1, 2]]
d_1 = sqrt([175, 60]*inv(SIGMA)*inv([175, 60])) = 125.76432986608987
d_1 = sqrt([165, 65]*inv(SIGMA)*inv([165, 65])) = 117.54431788336971
- 代码
from scipy.spatial import distance
import numpy as np
from numpy.linalg import inv # 求逆矩阵
#逆协方差矩阵
SIGMA = np.array([[2,1],[1,2]])
q = [0, 0]
x_1 = [175, 60]
x_2 = [165, 65]
# mahalanobis
d_1 = distance.mahalanobis(q, x_1, inv(SIGMA))
d_2 = distance.mahalanobis(q, x_2, inv(SIGMA))
print(d_1)
print(d_2)
125.76432986608987
117.54431788336971
- 概念
- "英文："
Cosine Distance
- "定义："
⽤向量空间中两个向量夹⾓的余弦值作为衡量两个个体间差异的⼤⼩的度量。
- "特点："
1）余弦距离不是距离，只是相似性(余弦相似度)。
2）总体来说，欧⽒距离体现数值上的绝对差异，⽽余弦距离体现⽅向上的相对差异。
3）取值范围[-1,1]。越趋于1（夹角越趋于0）代表越相似，趋于-1相反。
- "余弦相似度公式："
cos(x_1,x_2) = （两个向量的内积）/（x_1向量的内积*x_2向量的内积）
注：
向量内积：
比如：x(1,2,3), y(2,3,4)
向量x与向量y的内积为：1*2+2*3+3*4 = 20
- 公式
两个变量形式：
n维代数形式:
c o s ( x i , x j ) = ∑ u = 1 n x i u ∗ x j u ∑ u = 1 n ( x i u ) 2 ∗ ∑ u = 1 n ( x j u ) 2 cos(x_i,x_j)=\frac{\sum_{u=1}^nx_{iu}*x_{ju}}{\sqrt{\sum_{u=1}^n(x_{iu})^2}*\sqrt{\sum_{u=1}^n(x_{ju})^2}} cos(xi,xj)=∑u=1n(xiu)2 ∗∑u=1n(xju)2 ∑u=1nxiu∗xju
向量形式：
c o s ( X , Y ) = X × Y X × X ∗ Y × Y cos(X,Y)=\frac{X\times Y}{\sqrt{X \times X}*\sqrt{Y \times Y}} cos(X,Y)=X×X ∗Y×Y X×Y
- 例子
"文本相似度"
第一步，分词
句子A：这只/皮靴/号码/大了。那只/号码/合适。
句子B：这只/皮靴/号码/不/小，那只/更/合适。
第二步，列出所有的词
这只，皮靴，号码，大了。那只，合适，不，小，很
第三步，计算词频
句子A：这只1，皮靴1，号码2，大了1。那只1，合适1，不0，小0，更0
句子B：这只1，皮靴1，号码1，大了0。那只1，合适1，不1，小1，更1
第四步，写出词频向量
句子A：(1，1，2，1，1，1，0，0，0)
句子B：(1，1，1，0，1，1，1，1，1)
第五步：余弦相似度（余弦距离）
cos(A,B) = (1+1+2+1+1)/(sqrt(1+1+4+1+1+1)*sqrt(1+1+1+1+1+1+1+1)) = 6/3*sqrt(8)) = 0.707
- 概念
- "由来："
1）汉明距离是以理查德·卫斯里·汉明的名字命名的。
2）汉明距离是使用在数据传输差错控制编码里面的。
- "定义："
1）它表示两个（相同长度）字符串对应位置的不同字符的数量
2）换句话说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。
- "举例："
1011101 与 1001001 之间的汉明距离是 2。
2143896 与 2233796 之间的汉明距离是 3。
"toned" 与 "roses" 之间的汉明距离是 3。
- 公式
d i s t h a m ( x , y ) = ∑ x i ⨁ y i dist_{ham}(x,y) = \sum x_i\bigoplus y_i distham(x,y)=∑xi⨁yi
- 最小汉明距离
1. 在一个码组集合中，任意两个编码之间汉明距离的最小值称为这个码组的最小汉明距离。
2. 最小汉明距离越大，码组越具有抗干扰能力。
最小汉明距离——具体分析
- 代码
def hammingDistance(s1, s2):
if len(s1) != len(s2):
raise ValueError("unequal length")
return sum(el1 != el2 for el1,el2 in zip(s1,s2))
if __name__ == '__main__':
d = hammingDistance("110110110110","110111111110")
print(d)
运行结果：2
- 概念
- "英文："
Jaccard similarity coefficient
- "定义："
1）两个集合A和B交集元素的个数在A、B并集所占的比例。
2）比值，称为两个集合的杰卡德系数。
- "特点："
1）jaccard 值越大说明相似度度越高。
- 回顾
"外部指标公式："
上面我写的性能度量的外部指标公式，有jaccard系数
- 杰卡德相似系数公式
J ( A , B ) = ∣ A ⋂ B ∣ ∣ A ⋃ B ∣ J(A,B)=\frac{|A\bigcap B|}{|A\bigcup B|} J(A,B)=∣A⋃B∣∣A⋂B∣
- 杰卡德距离
J σ ( A , B ) = 1 − J ( A , B ) J_{\sigma}(A,B)=1-J(A,B) Jσ(A,B)=1−J(A,B)
5.10 相关系数与相关距离- 相关系数
- "特点："
1）相关系数是衡量两个特征列之间相关程度的一种方法，取值范围[-1,1]
2）相关系数的绝对值越大，表明特征列X和Y的相关程度越高。
3）当取值为1时表明正线性相关，-1时表明负线性相关。
- 相关系数公式
ρ
X
Y
=
C
o
v
(
X
,
Y
)
D
(
X
)
∗
D
(
Y
)
\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}*\sqrt{D(Y)}}
ρXY=D(X)
∗D(Y)
Cov(X,Y)
=
E
(
(
X
−
E
X
)
(
Y
−
E
Y
)
)
D
(
X
)
∗
D
(
Y
)
\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\frac{E((X-EX)(Y-EY))}{\sqrt{D(X)}*\sqrt{D(Y)}}
=D(X)
∗D(Y)
E((X−EX)(Y−EY))
E
(
x
)
=
1
n
∑
i
=
1
n
x
i
E(x)=\frac{1}{n}\sum_{i=1}^nx_i
E(x)=n1∑i=1nxi
D
(
x
)
=
1
n
∑
i
=
1
n
(
x
i
−
E
(
x
)
)
2
D(x)=\frac{1}{n}\sum_{i=1}^n(x_i-E(x))^2
D(x)=n1∑i=1n(xi−E(x))2
C
o
v
(
x
,
y
)
=
1
n
∑
i
=
1
n
(
x
i
−
E
(
x
)
)
(
y
i
−
E
(
y
)
)
Cov(x,y)=\frac{1}{n}\sum_{i=1}^n(x_i-E(x))(y_i-E(y))
Cov(x,y)=n1∑i=1n(xi−E(x))(yi−E(y))
C
o
v
(
X
,
Y
)
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
Cov(X,Y)=E(XY)-E(X)E(Y)
Cov(X,Y)=E(XY)−E(X)E(Y)
Cov是协方差
- 相关距离公式
D X Y = 1 − ρ X Y D_{XY}=1-\rho_{XY} DXY=1−ρXY
- 例子
X = (1.1, 1.9. 3)
Y = (5.0, 10.4, 14.6)
E(X) = (1.1+1.9+3)/3 = 2
E(Y) = (5.0+10.4+14.6)/3 = 10
E(XY) = (1.1*5.0+1.9*10.4+3*14.6)/3 = 23.02
D(X) = (1/3)[(1.1-2)^2+(1.9-2)^2+(3-2)^2] = 0.607
D(Y) = (1/3)[(5.0-10)^2+(10.4-10)^2+(14.6-10)^2] = 15.44
Cov(X,Y) = E(XY) - E(X)E(Y) = 3.02
相关系数 = 3.02/9.37 = 0.322
相关距离 = 1 - 0.322 = 0.678
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）