共熵和信源熵关系

信源的分类与描述
2 离散信源的信息熵和互信息
3 离散序列信源的熵
4 连续信源的熵与互信息
5 冗余度
21 信源的分类与描述
— 信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
l 分类
1 时间 离散 连续
2 幅度 离散 连续
3 记忆 有 无

需要基础：概率论，数学基础

谈到通信中的两个问题：

单个随机变量的熵为该随机变量的不确定度。（编码中多少位bit可以完整表述随机变量X）

a 均匀分布，编码方式为最简单的，一种编码对应一种可能。

公式可以学成 H(X) = log N

b 概率非均匀分布，概率大的编码比特数越小。ps：用于决策树定根节点。

公式跟以上一样，概率换为联合概率

定义两个随机变量的条件熵H(X|Y)，即一个随机变量在给定另一个随机变量的条件下的熵。 由另一随机变量导致的原随机变量不确定度的缩减量称为互信息。（是不是很难记，其实我从没记过，看图）

毕业后才发现学习速度要比读书时更快

以上截图来源网络，但是我有正版教科书（纸质版），衷心希望所有文件都能出电子版。

上课又用到了 201881

你好 熵在高中是不作要求的。 现在属于大学物理的内容。现在给你详细讲解下，热力学中表征物质状态的参量之一,通常用符号S表示。在经典热力学中，可用增量定义为dS＝(dQ/T)，式中T为物质的热力学温度;dQ为熵增过程中加入物质的热量；下标“可逆”表示加热过程所引起的变化过程是可逆的。若过程是不可逆的,则dS＞(dQ/T)不可逆。单位质量物质的熵称为比熵,记为 s。熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量。热力学第二定律是根据大量观察结果总结出来的规律，有下述表述方式：①热量总是从高温物体传到低温物体，不可能作相反的传递而不引起其他的变化；②功可以全部转化为热，但任何热机不能全部地、连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；③在孤立系统中,实际发生的过程,总使整个系统的熵值增大，此即熵增原理。摩擦使一部分机械能不可逆地转变为热，使熵增加。热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2－dS1＞0，即熵是增加的。
物理学上指热能除以温度所得的商，标志热量转化为功的程度。

H2(x)= -P(x1)Log2(p1)-P(x2)Log(p2)-P(xn)Log2(Pn)
H2(x)= -P(白/白)Log2(白/白)-P(黑/白)Log2(黑/白)-P(白/黑)Log(白/黑)-P(黑/黑)Log2(黑/黑)
=-09Log2(049)-01Log2(021)-02Log2(021)-08Log2(009)
=0926 + 0225 + 045 + 2779
=438

单符号连续信源的熵与微分熵，单符号连续信源，定义，信源发出的消息为单一符号，这些符号随机取值于一个连续域表示连续型随机变量X。
1： 微分熵去掉了无限项，不可以作为连续随机变量的真正不确定性的测量。
2：连续随机变量每一点取值为零，定义的自信息是无意义的，不能把微分熵视为：自信息量的统计平均。

---