KL散度、JS散度、Wasserstein距离

KL散度、JS散度、Wasserstein距离,第1张

KL散度、JS散度、Wasserstein距离 1. KL散度

KL散度又称为相对熵,信息散度,信息增益。


KL散度是是两个概率分布 $P$ 和 $Q$  之间差别的非对称性的度量


KL散度是用来 度量使用基于 $Q$ 的编码来编码来自 $P$ 的样本平均所需的额外的位元数。


典型情况下,$P$ 表示数据的真实分布,$Q$ 表示数据的理论分布,模型分布,或 $P$ 的近似分布。


定义如下:

因为对数函数是凸函数,所以KL散度的值为非负数。


有时会将KL散度称为KL距离,但它并不满足距离的性质:

  1. KL散度不是对称的,即 $D_{KL} (P||Q) \neq D_{KL} (Q||P)$;
  2. KL散度不满足三角不等式。


2. JS散度(Jensen-Shannon)

JS散度度量了两个概率分布的相似度,基于KL散度的变体,解决了KL散度非对称的问题。


一般地,JS散度是对称的,其取值是 $0$ 到 $1$ 之间。


定义如下:

KL散度和JS散度度量的时候有一个问题:

如果两个分配 $P, Q$ 离得很远,完全没有重叠的时候,那么KL散度值是没有意义的,而JS散度值是一个常数。


这在学习算法中是比较致命的,这就意味这这一点的梯度为 $0$。


梯度消失了。


3. Wasserstein距离

Wasserstein距离度量两个概率分布之间的距离,定义如下:

  $\Pi (P_1, P_2)$ 是 $P_1$ 和 $P_2$ 分布组合起来的所有可能的联合分布的集合。


对于每一个可能的联合分布 $\gamma$,可以从中采样 $(x,y)∼ \gamma$ 得到一个样本 $x$ 和 $y$,并计算出这对样本的距离 $||x−y||$,所以可以计算该联合分布 $\gamma$ 下,样本对距离的期望值 $E _{(x, y) ∼ \gamma}[||x−y||]$。


在所有可能的联合分布中能够对这个期望值取到的下界 $\inf_{\gamma ∼ \Pi(P_1, P_2)} E _{(x, y) ∼ \gamma}[||x−y||]$ 就是Wasserstein距离。


  直观上可以把 $E _{(x, y) ∼ \gamma}[||x−y||]$ 理解为在 $\gamma$ 这个路径规划下把土堆 $P_1$ 挪到土堆 $P_2$ 所需要的消耗。


而Wasserstein距离就是在最优路径规划下的最小消耗。


所以Wesserstein距离又叫Earth-Mover距离。


  Wessertein距离相比KL散度和JS散度的优势在于:即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。


而JS散度在此情况下是常量,KL散度可能无意义。


转载自:KL散度、JS散度、Wasserstein距离

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/585560.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-12
下一篇 2022-04-12

发表评论

登录后才能评论

评论列表(0条)

保存