香农公式有什么实际用处吗

奈氏准则指出，码元传输速率是受限的。香农定理则给出了信息传输速率的极限。区别在于二者传输速率不同。奈氏准则是针对波特率的，没有限制比特率，他认为码元传输速率一旦确定，再确定码元所载的比特数，极限信息传输速率也就确定了。而香农公式通过极其复杂的推演，得出了结论信息传输速率也是有极限的，且这个极限不是由波特率单独决定，还是由传输带宽和信噪比决定的。

奈氏准则与香农公式的意义在于揭示了信道对于传输率的限制，只是两者作用的范围不同。奈氏准则给出了每赫带宽的理想低通信道最高码元的传输速率是每秒2个码元。香农公式则推导出了带宽受限制且有高斯白噪声干扰的信道的极限信息传输速率。

香农三大定理是信息论的基础理论。

香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理。香农第二定理是有噪信道编码定理。香农第三定理是保失真度准则下的有失真信源编码定理。

香农三大定理给出了信道信息传送速率的上限（比特每秒）和信道信噪比及带宽的关系。香农定理可以解释现代各种无线制式由于带宽不同，所支持的单载波最大吞吐量的不同。

香农三大定理的物理意义：

从 1948 年，香农定律的提出，标志着信息论的建立，美国之所以能够对全球经济具有话语权，除了是因为强大的军事能力之外，还仰赖于香农定律构建的全球技术标准，让美国成为新帝国的垄断者。从 1G 到 4G 时代，美国都是主导者，但到了 5G 时代，以华为为代表的中国企业异军突起，争夺 5G 的全球领导权，这也是美国恼羞成怒的原因。

只有当我们能够处理的只是大块的物体而无法看出或处理借以构成物体分离的分子时，热力学第二定律才是正确的，并由此提出应当对热力学第二定律的应用范围加以限制。

人工智能的起源，公认是1956年的达特茅斯会议。会议的召集者是麦卡锡，主要参加者包括：摩尔、麦卡锡、明斯基、塞弗里奇、所罗门诺夫等人工智能领域的干将。但是，其实参加会议的还有一人，他就是当时已经大名鼎鼎的香农(Claude Shannon)。

学过理工的人可能都知道香农。大学物理课程在讲到热力学的时候会涉及热力学第二定律，于是会涉及熵的概念。香农是美国数学家、信息论的创始人。他的第一个最重要的公式便是关于信息熵的。

物质、能量和信息是构成客观世界的三大要素。信息（information）还没有一个公认的定义。一般把消息中有意义的内容称为信息。那么，信息能否度量？

香农的回答是：能。香农指出，当我们对一问题毫无了解时，对它的认识是不确定的，在对问题的了解过程中，通过各种途径获得信息，逐渐消除了不确定性，获得的信息越多，消除的不确定性也越多。我们可以用消除不确定性的多少来度量信息量的大小。

例：会堂有20排、每排20个座位。找一个人。

甲告诉消息：此人在第10排；

乙告诉消息：此人在第10排、第10座。

甲乙消息的不确定度是不一样的，因此其信息量也是不一样的。乙的不确定度最小，则其信息量最大。那么能否用数学来定量度量这个信息量呢？

1948年，香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。香农应用概率论知识和逻辑方法推导出了信息量的计算公式。

同麦卡锡们相比，香农比他们平均年长十岁左右，当时已是贝尔实验室的大佬。而且，麦卡锡和明斯基都曾在贝尔实验室为香农打过工。香农参加这次会议，主要是被麦卡锡拉大旗做虎皮请到会上打酱油的。

但是，香农本人在人工智能方面的贡献也不可小觑。

1950年，他就为《科学美国人》撰写过一篇文章，阐述了“实现人机博弈的方法”；同一年，他设计的国际象棋程序，发表在当年的论文“Programminga computer for playing chess”中。

1956年，在洛斯阿拉莫斯的MANIAC计算机会议上，他又展示了国际象棋的下棋程序。可以说，香农的下棋程序是后来成名的“深蓝”名副其实的鼻祖。

在研制下棋程序期间，香农花费了大量的工作时间来钻研国际象棋。下棋让香农兴高采烈。他后来回答记者采访时说，“我常常随着自己的兴趣做事，不太看重它们最后产生的价值，更不在乎这事儿对于世界的价值。我花了很多时间在纯粹没什么用的东西上。”但这种不务正业让他的上司“多少有点不高兴”，但又不好意思阻止当时已经是业界大牛的香农。

1952 年,香农做出了一个会自我学习走迷宫的“人工智能”老鼠“香农鼠”，这大概算是第一台人工智能装置的雏形。

1961年，香农为了挑战拉斯维加斯的赌场，还做了世界上第一台隐藏式的穿戴式电脑。

所以，说他是人工智能的先驱，一点也不夸张。

香农给出了信息熵（以下简称为“熵”）的定义：香农

H = - ∑ pilogpi

i

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：

H(X,Y) = - ∑ p(x,y)logp(x,y)

x,y

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

1948年，香农提出了 “信息熵（entropy）”的概念

信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。

信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度）

例子：

信息增益 = 信息熵 - 条件熵

信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度

上面例子的 得知身高信息 后，信息增益为（我们知道信息熵与条件熵相减就是我们的信息增益）：

1 - 0103 = 0897

所以我们可以得出我们在知道了身高这个信息之后，信息增益是0897

以上就是关于香农公式有什么实际用处吗全部的内容，包括:香农公式有什么实际用处吗、香农三大定理、达特茅斯会议上还有香农等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！