什么是信息论?

什么是信息论?

[拼音]：xinxilun

[外文]：information theory

研究控制广义通信系统设计的数学规律的理论。它是概率论、随机过程论与通信技术结合的学科，主要任务是研究通信系统的有效性（效率）和可靠性，以及二者的关系。通信的本质是信息的传输。广义通信不仅包括电报、传真、电话、广播和电视等，也包括雷达、声纳、信息存取、信息处理、人与机器或机器之间的通信等。进行科学实验或对某个系统进行观察，如人工地震、探矿技术和射电天文观测，也是获取或接收信息的过程。

在信息论的理论研究中，把各种通信系统概括为统一的模型。图1表示简单的通信系统模型。信源产生待传输的消息。消息的形式是多种多样的，如字母、文字、旗语、数据、语声、音乐和图像等（这些都可视为符号序列）。但是消息不同于信息，它是信息的载体。发送机将消息变换为适合于信道的信号，信号遂成为信息的载体。变换指的是从消息转变为信号的全过程，其中最主要的常是编码与调制。信道是信号从发送机传输到接收机的媒质，如导体、传播电磁波的自由空间和光导纤维等。信号在传输途中总要遇到一些干扰，受到不可预计的损害。这些干扰被称为噪声，系统各部分的噪声的总合以噪声源表示。接收机是发送机的对应端，它将信号再变换为消息。但是，接收信号一般已受到干扰，输出的消息中将出现失真或错误，因而失去部分信息。信宿是被传输信息的归宿，也就是接受者。

在上述模型中只有一个信源和一个信宿。如果将它推广，信源或信宿或两者均超过一个，传输方向也可能不是单向的，就可得出各种多用户通信系统模型。

由于信息论的应用比较广泛，与许多学科有联系，并有与一些学科互相渗透、形成新学科的趋势，以致难以清晰地确定其内容范围。电子学界一般认为信息论的主要内容包括信息熵（信息的度量）、信源编码、信息传输、信道容量、信道编码、信息率-失真理论、检测与估计（见检测理论及估计理论）和保密学等。

历史和发展

信息论是在20世纪中叶从电信技术中总结和发展起来的理论。美国C.E.仙农于1948年所著论文《通信的数学理论》为此奠定了基础。1928年R.V.L.哈特莱得出信息定量的概念。他把待传输的消息考虑为符号序列，舍去消息的语义，不把它作为计算信息量的因素。他指出，从含有N个元的符号集合中选择L个元组成的不同序列有NL个，这些序列代表不同的消息。如果对这些消息的选择是随机的，并且是等可能的，他建议把每个消息所含信息量计为I=log10NL。哈特莱忽视语义的思想和对信息定量的概念，后来都成为仙农创立信息论的基础。仙农最初的贡献可以概括为：

（1）从准公理的观点对信息量作出定义；

（2）研究了在无噪声和有噪声信道中传输离散消息时的信息流量；

（3）建立了信道容量的概念，并阐明了它的实际意义；

（4）建立了某些基本的编码定理；

（5）研究了在有噪声情况下传输连续信号时的信息流量。50年代以来，仙农本人，美国、苏联、日本和一些欧洲国家的学者以及中国学者，对信息论都作出了不同程度的贡献。信息论的发展主要表现在两个方面：第一，从1969年得到重视和发展的信息率-失真理论及其应用；第二，对多用户通信系统模型的研究。

与仙农同时，N.维纳研究了抑制噪声的滤波问题。他把信号和噪声都看作随机过程，作出信号在叠加噪声后的波形与信号原波形之间有最小均方误差的滤波器设计，称为维纳滤波。维纳滤波后来又发展为卡尔曼滤波。维纳理论在很长时间被公认为是信息论的组成部分。但是，60年代初递归滤波作为一个课题出现在控制理论中，并且与最优控制联系，使维纳理论得到新的动力，从而成为基本上独立于信息论的研究课题。

同时，仙农在贝尔实验室的同行们在致力研究纠错编码技术，对要传输的序列进行编码，使它在传输中发生一定数量的错误时可以被发现或自动纠正。最初的代表性著作是R.W.汉明于1950年公布的。纠错编码是用以增强通信可靠性的，后来，它就自然地成为信息论的一个分支。

另一个被纳入信息论范围的重要分支，是信号的统计检测和估计理论，因为要从一个实体或系统获取信息必然要从一组假设中判决（检测）何者为真，或对表征实体或系统的某些参量作出估计。决策理论和估计理论问题，在18世纪中叶和19世纪初已有所研究。20～30年代，R.A.费歇耳J.奈曼和E.S.皮尔逊对经典理论作出的新贡献成为现代检测和估计理论的基础。第二次世界大战以来，主要是将理论应用于对各种通信系统的设计和分析。50年代末期，利用激光射束的通信和雷达系统的发展，则引起了对光频信号的有效检测与参量估计以及对传输这些信号的信道性质的研究。

学科内容

信息论这一学科的主要内容包括信息的度量、信源编码、信息传输、纠错编码、信息率-失真理论、检测与估计和保密学等。

信息的度量和定量

由于消息的形式多种多样，必须对它们所含的信息有一个统一的定量方法，以便作为物理量来处理。在通信系统中传输的消息是信源从其所可能给出的符号中逐个产生的个别符号。从统计学的观点来说，消息的产生过程就是从一个符号集合(符号表)中作出一串任意的选择，但对不同元（符号）的选择对应着不同的概率，并且前后的选择可能有相关性。最简单的信源是两个元组成的集合，例如“是”和“非”，且前后符号独立，每个符号的发生概率均为1/2。最简单的消息是由它产生的单符号消息。人们以这种等概率的二者择一的符号所含的平均信息量作为单位信息量，称为比特，可以从下式得出

(1)

式中P1和P2分别是两个符号的发生概率。对于式(1)：第i个符号所含信息量是


;所以式(1)是每个符号的统计平均信息量。这个概念可以推广到信源是N个符号组成的集合，并且各符号的概率为Pi(i=1，2，…，N)的情况。这时每个符号的平均信息量为

(2)

信息量的这个计算方法符合三个通常的概念。

（1）发生概率越小的消息所含信息量越大，即稀罕的事所含信息量大。如果N 个符号是等概率的，H 取极大值，因为人们不能从这个概率分布获得对消息的任何倾向性。如果符号表中只含一个符号，就是说，每次都传送同一消息，当然H＝0。

（2）如果信源产生个别符号时分两步走，先将全体符号分为若干组，并从中选择一组，后从已选组中选择符号；那么，按照上述原理所确定的平均信息量，与一次直接选择出符号所求得的结果相等。

（3）若信源连续发生两个独立的符号，把这两个符号看成一个大符号来计算的信息量等于按每个符号单独计算时的信息量的和。理论家们从公理出发所得出的信息量计算公式与式 (2)是一致的。在数字通信技术中，计算信号速率时常把每个二进制数位称为“比特”，它的概念是与作为信息量的单位“比特”不同的。式(2)中的H常称为信源的信息熵，或简称为熵，又常把它视为对信源的不定度的量度。

信源所产生的消息常常不是单一符号，而是一个序列，前后存在相关性。相关性越强，符号平均信息量越小。相关性延续的符号数越多，一般地说，符号平均信息量越小。

信源编码

信源编码要解决的问题是对信源产生的符号序列进行编码（常用二进制码），要求能够正确无误地译码，同时力求高的编码效率，以减少传输时间或缩小存储空间。若信源符号包含A、B、C和D，相应的发生概率是1/2、1/4、1/8和1/8。如果直接用二进制数编码，结果可能是A:11、B:10、C:01、D:00。编码效率为每一符号2个二进制码。若在编码时利用统计规律，则可能的结果是A:1、B:01、C:001、D:000。用这个方法编出的序列能还原为原符号，不会出现划段错误。同时，每个符号所需的位数将是1.75，效率较前提高。信源的熵也等于1.75比特／符号。这是一个特例，但符合信息论的一个重要结果:如果离散无记忆信源的熵为H 比特/符号，那么，用二进制数字对它的符号逐个进行编码，总可以找到所需位数任意接近H 的码。对于前后有相关性，或称有记忆的信源，这个定理仍然成立，但此时不是对信源符号逐个进行编码，而是对长符号序列进行编码。

信息传输和信道容量

按照通信系统的模型(图1)，如果信道是无噪声的，发端所送出的消息可以在接收机输出端还原，送给信宿，信息无损失。但是，信道中通常存在噪声。例如，对于图2中的二元信道，发端和收端均有两个符号(0，1)，发端记为x，收端记为y。因为有噪声，传输可能错误。当x＝0时，它以条件概率P00被正确接收为y＝0，以P10被错误接收为y＝1。当发送x＝1时，正确与错误的概率分别是P11和P01。这一组条件概率｛Pki｝(i，k=0，1)，表征二元信道的数学模型。设x＝0和1的先验概率分别为P0和P1，那么，在信道输入的熵（或不定度）为

在收端，不论y为0或1，都不能确知是否与所发的x对应无误，即仍有不定度。从Pi和Pki(i，k=0，1)可以求出y=k时的概率Qk和后验概率Qik，后者是信道输出y＝k时输入x=i的概率。对于每个y=k，用Qik代替式(2)中的Pi，再将得出的熵以Qk加权求和，即得收到y后x的条件熵或不定度

(3)

而H(x)-H(x|y)是通信过程所消除的x的不定度，它等于发端传至收端的平均信息量。在无噪声时，当i=k，Qik=1；于是H（x│y）=0(这里约定0log20＝0)，从发端传至收端的信息量，等于H(x)，发端x的不定度全部消除。

对于给定信道，所有条件概率｛Pki｝是确定的，但平均信息传输率H(x)-H(x│y)随先验概率｛Pi｝而变。信道容量C 就是改变此先验概率分布时所能得到的最大平均信息传输率。关于信息在信道中传输的基本定理是信道编码定理。它的粗略概念是：如果待传输的信息率R＜C，则总存在一种编码，使在收端还原出原消息的符号差错概率任意地小;反之，若R＞C，则差错概率必大于零。有了这个定理，信道容量的概念才有明确的实际意义。

纠错编码

信道编码定理只说明理想编码的存在性，没有指出它的构造方法。纠错编码的研究本来就致力于降低码的传输错误，信息论建立以后，它成为企图逼近理想编码的一种方法，因而纠错编码又称为信道编码。在图1 的通信系统中将发送机的调制等部分和接收机的相应解调等部分纳入信道。这样发送机便成为编码器，接收机仅是译码器。编（译）码器可能有两个部分，信源编（译）码器和信道编（译）码器。信道编码器和译码器的任务是力求自动地发现或纠正在信道中传错的码元。

在纠错编码中常用均等校验技术。由信源编码器或信源直接输出的码元称为信息位。每k位为一组，并在每组的后面加一个校验位，使这k+1位的和为偶（奇）。在传输过程中，若k+1位的码组中有1位发生错误，就会因为它们的和为奇（偶）而被译码器发现，但不知哪一位有误，仍不能纠正，只能要求发端重发这个码组。如果根据一定规则从k个信息位计算出n-k个校验位，共同组成一个码组，那么在译码时便可在一个码组中纠正（或检出）一个或多个错误。这种码称为分组码。码的分组长度是n，因校验位不携带信息，故编码效率（码率）为k/m。在一定信息位数下，校验位越多纠错能力越强，而码率越低。虽然从理论上已经证明，错误概率任意接近于零，同时码率任意接近于信道容量的分组码是存在的，但分组长度既随错误概率接近零而增加，也随码率接近信道容量而增加，并且迄今尚未找到一般的构造理论码的步骤。

与分组码并列的有卷积码。虽然对它的理论研究不及分组码成熟，但却得到较多的实际应用。在分组码中校验位仅与本组的信息位有关，而在卷积码中校验位不仅与本组信息位有关，且与前面的信息位有关。以码率为1/n的卷积码为例，其编码方法是:编码器根据一定规则从连续K个信息位 s1，…，sK计算出信道序列的首n位；然后sK+1进入编码器，s1溢出，再从s2，…，sK+1计算信道序列的次n位；依此类推。这里的K称为约束长度。译码时也是逐位译出。如果码率是k/n，则只是以k位的信息位组代替前面的一个信息位，从而每次进入和溢出编码器的信息位为k位，不是1位；参与计算的信息位不是K位，而是kK位。译码时每步译出k位。要达到很低的码元错误概率，编码的约束必须很长。

信息率-失真理论

有一类信源产生的消息是在时间上离散的、但取值为连续的数值序列；另一类信源被称为连续信源，一个连续信源产生的消息是时间的连续函数(随机过程的样函数)。但是，任何信宿都不能，也没有必要鉴别这种无穷小的值差，所以可用近似值代替精确值。就是说，信宿可以容许一定的失真度。不过失真度不能在某一个别消息和它的近似之间定义，必须在所有消息上取统计平均来定义(见信息率-失真理论)。既然信宿可以容许一定的失真度，信源传送给它的信息量就可以低于无失真时的信息量。允许的失真度越大，所需要的信息率就越低。对应于一定的失真度D 所必需的最低信息率称为信息率-失真函数R(D)。反之，若信源传送给信宿的信息率达到R(D)，最终的失真度则不会超过D 。

粗略地说，如果离散无记忆平稳信源的信息率－失真函数是R(D)(比特／符号)，且允许用R′二进制位／源符号，R′＞R(D)，对它的长序列进行编码时，则必存在一种码能使译码后的失真可以任意接近于D。反之，若R′＜R(D)，则任何编码的译码失真必大于D。这是与前面的信源编码（无失真）相似的结果。考虑将这种信源产生的消息通过容量为C的信道进行传输的问题，原则上可以计算满足R(DC)=C时的DC，信源和信宿间的平均失真度至少为DC。。信源编码器可先把待传输消息变换为C个二进制位/源符号。信道编码器对它进行再次变换，使到达信宿时的平均失真度任意接近于DC。当然，两个译码器都要能正确地完成相应的逆变换。这个理想系统尚难以具体实现，但可以作为一个标准使用。

检测和估计

研究如何从混有噪声的信号中检测消息，并从而得出最佳接收机设计原则的理论。若要检测的消息有n个，编号为0至n-1，且消息的先验概率是已知的，任一消息j被接收为i的代价 Cij(i，j=0，1，…，n-1)也是已知的。那么，确定最佳接收的合理准则通常是:所付的代价为极小，这个准则称为贝叶斯准则。如果先验概率是未知的，也无足够根据可以假设它们，就须采用极小极大准则，即最佳接收时可能付出的最大平均代价为极小。在特定的二元检测情况下，例如雷达探测空中某区域有无目标，不但缺乏消息的先验知识，且误判有目标（虚警）的代价难以估计时，常用奈曼-皮尔逊准则。这个准则的意义是在虚警概率不超过规定值时，正确判决有目标的概率为极大。应用上述三个准则中的任一准则接收机的基本结构都是相同的。

如果消息内含的信息反映一个或多个取值连续的参量，那么信息提取过程称为估计，即要根据混有噪声的信号对这些参量进行估值。估计和检测的基本理论是两个相似的平行分支。在估计问题中有时待估计的消息是时间的连续函数，甚至是时间和空间的函数。在特定情况下，这个问题可以用维纳滤波器或卡尔曼滤波器解决。

保密学

仙农于1949年在其《保密体制的通信理论》一文中阐明，用信息论的概念可以在保密学中形成一个原则：一种语言的信息率与该语言密码的解密可能性有直接关系，信息率越低，解密越容易，为了完全或唯一地解出密码所需要截获的消息越少。

信息论与其他学科的关系

信息论与物理学、分析化学、遗传学和心理学等学科有密切的关系。

信息熵表征信源的不定度，它等于消除这个不定度所需要的信息量。在热力学中，熵的表达式与信息熵相同，但它是用来表示分子状态的杂乱程度的。这两个熵互为负量。美国的L.N.布里渊导出了两者的关系(1956年)：1比特的信息量等价于kln2(J/K)，其中k为玻耳兹曼常数；从而推广了热力学的第二定律，即墹S-墹I≥0，式中墹S为热熵增量；墹I为信息熵增量。这就是说，在孤立的绝热系统中，如果有信息参与，就不能说热熵不能减小，而是墹S-墹I不能减小。这样，就更好地解释了“麦克斯韦精灵”理想实验。精灵之所以能降低与它联系着的系统的热熵，是因为它获有信息。

化学分析是从样品中获取被抽样物质成分的信息的过程。定性分析的目的是确定样品中是否存在某些成分。定量分析的特点是可以获得关于成分的数字信息，即某些成分的浓度或量。从分析所得到的信息量，是以分析前后成分的不定度的差来度量的。人们可以从信息论的观点对分析方法进行优化。

生物遗传的性状，决定于细胞内部的脱氧核糖核酸(DNA)。DNA的分子由4种不同的碱基核苷酸(A，G，C，T)连接成的两条核苷酸链（序列）以双螺旋形式组成。这两条链是遗传信息的载体，其上各核苷酸的配对是固定的，所以两链上的信息是重复的。重复起着保护遗传信息的作用。

DNA 长链上的一段核苷酸序列形成一个基因。高等生物DNA的核苷酸链比低等生物的链长得多，但遗传基因的数目并不与DNA的链长成比例，因为许多基因为间隙子所隔离。在子代发育过程中，脱氧核糖核酸(DNA)上的信息转录到信使核糖核酸(mRNA)上，这些间隙被切除，而相关的酶把表征遗传信息的表达子连接在一起，从而形成mRNA。这为定向地改造生物提供了可能性。从信息论的观点看，间隙子可能起着类似于纠错码、同步码或其他的保护遗传信息的作用。遗传的变异等其他问题显然也与信息论有密切关系。

人类对于刺激的反应时间与该刺激所含的信息量有关。例如，有几个电灯以一定的概率分布，随机地逐个明亮，那么，这组灯就是一个信源。要求受试者在某一灯明亮以后，尽快地按揿钮灭灯。试验的结果表明，受试者完成这个动作所需的平均时间的增长与这组灯所给出的信息率增长之间有线性关系。这对揭示人类处理信息的规律和方法很有帮助。

参考书目

R.G.Gallager， Information Theory and Reliable Communication，Wiley，New York，1968.E. R. Berlekamp， Algebraic Coding Theory， McGraw-Hill，New York，1968.H. L. Van Trees， Detection Estimation， and Modulation Theory，Part 1，Wiley，New York，1968.

参考文章

经济信息论的辉煌和无奈经济百科

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/bake/4622482.html