信息熵在企业经营中的作用？

现在信息熵的在企业中的作用.只能给您个大概的思考方向了.

要论述信息熵在企业管理中的作用,就必须先弄清楚信息熵的含义.

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；

反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。

也就是说,一个企业经营,他的管理以及整个管理系统,越有序,配合得越默契,那么这个企业的信息熵就越低.而企业追求的也正是这种效果.

在企业经营中,为了降低这种信息熵值,那么就做了部门的区分,并且现在很多企业也导入了ERP系统.这种系统就是企业对信息熵做了一个比较好的控制.它对部门间信息的处理和信息的交换做了最简单,最直接的处理.并且是按流程 *** 作.追求信息共享.减少部门间信息的混乱度,以及时间的浪费.

具体就是从这个方向进行论述.希望能够帮助到您.

(广告,我们公司网址:

http://www.xc9000.com

)

混乱？不确定？还是惊讶？

熵的概念起初让人困惑，是因为用这么多词来形容它：无序、不确定、惊讶、不可预测、信息量等。如果你现在对熵还是迷惑不解，那么是时候揭开它神秘的面纱了！

1948年，克劳德-香农在他的论文“A Mathematical Theoty of Communication”首次提出了 信息熵 这个概念。

香农当时在寻找一种能够在 不损失信息 的情况下 高效（率） 的 发送信息 的方式。

上面的介绍可能对你来说不是很明显，我们来根据一些例子来了解高效和无损的发送消息意味着什么。

假设你想从东京给纽约发送一条关于今天东京天气的消息，如下图。

这样效率高吗？

在这种场景下，东京的发送端和纽约的接收端都知道沟通的消息是关于东京的天气，所以像类似于"今天"、“东京”、“天气”之类的词没必要发送。我们只需要告诉天气的具体情况就可以了。

这样是不是变短了很多？但我们能不能更进一步？

因为目前我们只需要告诉“YES”或"NO"这种二进制的信息。所以我们需要精确的1位来编码上述信息。0代表“好天气”，1代表“坏天气”。

这样是不是更短了？

是的，在只有 两种可能 的信息（“Fine”和“Not fine”）的情况下，我们完成了对其无损的编码和解码。

但是，我们还想知道是“多云”还是“下雨”更多的信息呢？这样1个bit是没法表达这么多情况的？

那使用2个bits呢？能解决上述问题吗？

这样我们可以表达所有情况了。只需要2 bits便可发送信息。

但是有这么一个问题，：“多云”和“下雨”多属于“坏天气”，这样一来，“坏天气”就 多余 了，让我们去掉它。

所以更改后的编码，第一位表达了“好或者坏”。第二位表达了“多云或者下雨”。

但是如果东京下雪了怎么办？目前我们没法来表达“下雪”？

所以只能再增加一位，来表达“下雨”或者“下雪”之类的天气。

我们把“下雨”的编码做了变化： 11 ->110 ,增加了"下雪" ： 111 ，110和111明显不同，但为什么不用 原来的11 来继续表达“下雨”呢，因为在多个编码连续发送的时候，11易造成歧义，意思可能表达不明确。

举个例子，“下雨”：11，“下雪”：111。那么5-bit的“11111”既可以解码为“下雨、下雪”，也可以解码为“下雪、下雨”。所以我们用‘110’来编码“下雨”，这样‘110111’ 编码 “下雨、下雪”，‘111110'编码“下雪、下雨 ”，就不会有歧义。

所以，我们用3-bit来编码时，第一位代表“好或坏”，第二位代表“多云或其他”，第三位代表“下雨或下雪”。

举个例子，“0101110111”，代表着“好、多云、下雨、下雪”。“110010111”代表着“下雨、好、多云、下雪”。这样看起来，没有歧义，也无损且足够高效。

实际上，天气的类型不仅是这4种，在此我们只是简化下它。

至此，我们编码成功，但如果我们想知道现在的这种编码形式是不是达到了 最小可能平均编码长度 呢？这样就涉及到了如何计算平均编码长度？

假设我们利用了上述的无损编码从东京发送了很多次天气信息到纽约，然后经过统计，获得了各种天气的概率分布。

接着，我们计算下发送这些信息的 平均字节数 。

(0.6 x 1 bit)+(0.38 x 2 bits)+(0.01 x 3 bits)+(0.01 x 3 bits)=1.42 bits

经过计算，利用上述编码形式的话，每个信息的平均编码需要1.42个bits。上述的公式也表明了，平均字节数依赖于所编码的信息的概率分布。

假设，东京更容易下雨和下雪，那么平均编码长度又会有什么变化？

(0.1 x 1 bit)+(0.1 x 2 bits)+(0.4 x 3 bits)+(0.4 x 3 bits)=2.7 bits

经过计算，我们需要2.7 bits.我们可以通过改变“下雪”和“下雨”的编码，来减小平均编码长度。

(0.1 x 3 bit)+(0.1 x 3bits)+(0.4 x 1 bits)+(0.4 x 2 bits)=1.8 bits

经过计算，1.8 bits，远小于上述的2.7 bits

尽管这种编码产生了较小的平均编码长度，但是我们的代价是失去了先前编码方案中的良好语义性。但是，我们着眼于平均编码长度，不关心编译的语义和解码的难易程度。

至此，我们学会了如何计算平均编码大小，但是怎么样的 编码方案 才能达到 最小平均编码大小 的目的呢？

假设我们知道了天气的概率分布，那么怎么计算对应的最小平均编码长度的编码方案呢？

“下雨”的最我码方案是什么？需要几位？

方案1：我们用1位去编码“下雨”，那么“0”代表“下雨”。为了包含所有情况且不含歧义，至少还需要2位去表达其他信息。

在这用情况下，不是最佳的，因为“好”和“多云”更容易发生，所以我们应该给他们保留1位，来使得平均编码长度更小。用超过1位来编码“下雨”，因为它出现的频率更低。

方案2：用2位编码“下雨”。把“下雨”和“好”做个交换。

但这样还是存在着和方案一相同的问题：用更多的bits去描述更容易出现的类型（如多云，用 3bits来描述）

方案3：用3位编码“下雨”。把“多云”和“下雨”做一交换。这样我们得到了最小平均编码长度。

(0.5 x 1 bit)+(0.25 x 2bits)+(0.125 x 3 bits)+(0.125 x 3 bits)=1.75 bits

方案4：用4位编码“下雨”。这样编码就会变得冗余。所以，用3 bits 编码最合适。但是回顾整个流程，我们经过了 很多次试错 才找到了最终的答案。那有没有其他方法更容易找到答案呢？

那么问题转化为：给定概率分布，是否存在简单的方法来计算无损的平均编码长度的最小值？也就是我们 如何计算熵 ？

假设我们有8种消息类型，且每种都是等可能性发生。那么在不含歧义的情况下，去编码它们需要的最小字节数是多少？

面对八种不同的情况，我们需要多少bits去编码？

1 bit可以编码0或1（2个值）。2 bits可以编码4个值。3 bits可以编码8个值，3 bits = 2x2x2 = 8 (000, 001, 010, 011, 100, 101, 110 and 111)。

如果我们减少位数，那么就会造成歧义。如果增加位数，那么就会造成冗余。实际上，如果我们有N个不同的取值，需要用bits来表达的话，那么只需要

举个例子，

换句话说，如果一个消息类型在N次中发生了1次，那么上述的式子就给出了其最我码长度。假设 P=1/N,则其代表了消息发生的概率，那么上式也可以这么表达：

让我们结果之前的知识，计算最小平均编码长度（以bits为单位），也就是熵：

P（i）是第i个消息类型的概率。 您可能需要坐下来思考这个公式的简洁性和美感。 其实这个公式并没有魔力，我们仅使用 每种消息类型的最我码 大小来计算 平均编码大小 。

继续用上述天气的例子来加深我们的理解。

所以，其最小平均编码长度（也就是熵）：

(0.5 x 1 bit)+(0.25 x 2 bits)+(0.125 x 3 bits)+(0.125 x 3 bits)=1.75 bits

熵有很多类比：无序，不确定，惊讶，不可预测，信息量等等。

如果熵很高（平均编码长度很大），则意味着有许多具有小概率的消息类型。因此，每次新消息到达时，与以前的消息类型相比都不同。您可能会将其视为 无序 或 不确定性 或 不可预测性 。

如果某消息类型的概率比其他消息类型小得多，则会出现意外情况，因为平均上来说，你会期望其他更频繁发送（概率更高）的消息类型。

此外， 罕见的消息类型 比更频繁的消息类型具有 更多信息 ，因为它消除了其他可能性并告诉我们更具体的信息。

在天气预报中，发送"下雨”（”下雨“”的概率分布为12.5%），我们将概率分布（“好，多云，下雪”）的不确定性降低了87.5％，前提是我们之前没有信息。如果我们发送“好”（50％），我们只会将不确定性降低50％。

如果熵高，则平均编码长度明显是长的，这意味着每个消息倾向于具有更多（特定）信息。同样，这就是高熵与无序，不确定性，惊讶，不可预测性，信息量相关的原因。

低熵意味着我们大多数时候都会收到 更可预测 的信息，这意味着* 更少的无序 ， 更少的不确定性 ， 更少的惊喜 ， 更多的可预测性 和 更少（特定）的信息 。

我希望这些类比不再让你感到困惑。

本文首先介绍了 信息熵 概念的提出，以及如何计算它。

接着以天气的例子说明了如果无损和高效的编码信息，怎么计算 编码长度 ，然后到计算 平均编码长度 。

接着，又经过 多次试错 最后找到了 最小平均编码长度 的编码方案。

然后，怎么快速的找到最小的平均编码长度，也就是让随机过程中的每个事件的编码最小，你的整体肯定会最小。

最后说明了高熵和低熵以为这什么。

通过本文，我们收获了：

参考链接： https://medium.com/activating-robotic-minds/demystifying-entropy-f2c3221e2550

“熵”是德国物理学家克劳修斯在１８５０年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希腊文“热运动”一词变来的。人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。举例来讲果我们能看到橡皮筋的分子结构，我们会发现它的结构在拉紧和放松的状态时是不一样的。放松的时候它的分子结构像一团乱麻交织在一起。而在把橡皮筋拉长的时候，那些如同链状的分子就会沿着拉伸的方向比较整齐地排列起来。于是我们可以看到两种状态：一种是自然，或者自发的状态。在这种状态下结构呈“混乱”或 “无序”状。而另一种是在外界的拉力下规则地排列起来的状态。这种“无序” 的状态还可以从分子的扩散中观察到。用一个密封的箱子，中间放一个隔板。在隔板的左边空间注入烟。我们把隔板去掉，左边的烟就会自然 (自发)地向右边扩散，最后均匀地占满整个箱体。这种状态称为“无序”。在物理学里我们可以用“熵”的概念来描述某一种状态自发变化的方向。比如把有规则排列的状态称为“低熵”而混乱的状态对应于“高熵”。而熵则是无序性的定量量度。热力学第二定律的结论是：“一个孤立系统的熵永不减少。”换句话说，物质世界的状态总是自发地转变成无序；“从低熵”变到“高熵”。比如，当外力去除之后，整齐排列的分子就会自然地向紊乱的状态转变；而箱子左边的烟一定会自发地向右边扩散。这就是著名的“熵增定律”。信息熵的定义与熵的定义相似，我们说的信息熵一般是指信息论的香农理论。在日常生活中，信息是指“消息”，“情况”等。看电视、看报纸、看书、打电话、听广播、上网浏览，乃至聊天、开会，人们都获得了“消息”。消息通过“消息传递系统”传递，各种系统可以抽象为通讯系统模型。这一模型并不只限于通信系统，对于生物神经系统，遗传系统，市场的经济信号感知反馈系统，管理系统，都可以运用这个模型。在消息传递系统中，其传输的是消息；但消息传递过程中，最普通，却容易被忽视的一点是：收信人在收到消息以前是不知道消息的具体内容的。消息的传递过程，对收信人来说，是一个从不知到知的过程，或者说是一个从不确定到确定的过程。从通信过程来看，收信者的所谓“不知”就是不知道发送端将发送描述何种运动状态的消息。例如，看天气预报前，不清楚天气的将出现何种状态；看天气预报后，这种不确定性就大大缩小了。所以通信过程是一种从不确定到确定的过程。不确定性消除了，收信者就获得了信息。所以香农认为， 信息是不定性的减少或消除。即I = S(Q/X)-S(Q/X')I代表信息，Q 代表对某件事的疑问，S 代表不定性，X为收到消息前关于Q的知识，X' 为收到消息后关于Q 的知识。信息熵并不是负熵，它描述的是信源 不确定性而不是 不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的减少或消除，这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。信源、信道是信宿成了认识过程的不可分割的部分，主客体是不可分的；香农的概率，是主体对客体（信宿对信源）的一种先验主观认识，这本身就加入了主体的因素。因此，作为“通信中的数学理论”，信源与信宿在信道联系下的“互信息”，才是香农的“信息”。信道的任务是以信号方传输和存贮信息，通过信息处理后，一般只会增加信息的损失，不可能增加原来获得的信息。这意味着，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息；信息一旦丢失，如不触及信源，就不能再恢复。这就是 信息不增原理，又称 数据处理定理，熵只是平均不确定性的描述，而不确定性的消除才是接受端获得的信息量，信息量不应该与不确定性混为一谈。信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同信息熵并不是负熵，它描述的是信源不确定性而不是不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的叫少或消除，实际上是“互信息”；因为这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。

---