信息论

相关tags:

信息论名词解释：关于信息加工、存储与分析的理论。一般分为狭义信息论、一般信息论和广义信息论三大类。狭义信息论主要研究信息量与通信编码问题,关于信息量的引进与通信编码的可行性问题为尚农信息论,而编码的构造算法及它们在计算机上的实现问题为编码理论,因为它大量应用代数理论,又被称为代数编码理论。一般信息论除研究上述编码理论外,还研究信号在噪声中的预测、滤波、检测和调制等问题,通常又称之为维纳信息论。广义信息论涉及信息处理的有关问题,如计算机科学、经济学、社会学、心理学、生物学中的信息处理问题都属于这个范围,是多学科的综合性科学,又称之为信息科学。
信息论是在长期的通信工程实践和理论研究的基础上发展起来的。
由于通信系统在人类社会中具有神经系统的重要意义,所以这方面的社会实践有着悠久的历史,用电的通信系统(电信系统)的采用也有150年的历史了。通信系统的历史发展有这样的性质名词解释：物理学的电磁理论及电子理论的每一个发展,都直接、迅速地促进了电信系统的新的改进。例如,19世纪20年代法拉第发现了电磁感应的基本定律,不久莫尔斯(1837)就发明了电报系统,1876年贝尔发明了电话系统。1864年麦克斯韦预言了电磁波的存在,1888年赫兹用实验证明了这一预言。紧接着马可尼(1895)、波波夫(1903)就发明了无线电通信系统。1907年福雷斯特发明能把电磁波放大的电子管,很快就出现了远距离无线电通信系统。大功率超高频电子管发明以后,电视系统迅速问世(1925—1929)。电子在电磁场运动过程中能量交换的规律被人们认识后,就出现了微波电子管,接着,第二次世界大战期间,微波通信系统、微波雷达技术都投入应用。20世纪50年代后期发明了量子放大器。20世纪60年代初发明的激光技术,使人类进入了光纤通信的时代。
随着通信工程技术的迅速发展,有关理论问题的研究也不断深入。1832年,莫尔斯建立了电报系统的高效编码方法,可以说是尚农信息论最早的先驱性工作。1885年,开尔文曾研究过一条电缆的极限传输率问题。1922年卡孙对调幅信号的频谱结构进行了研究,建立了信号频谱概念。两年后,奈奎斯特把信息率与频谱带宽联系起来。1928年,R.V.哈特莱发展了奈奎斯特的工作,并提出把消息考虑为代码或单语的序列。在S个代码中选N个码即构成SN个可能的消息,他定义“信息量=NlogS”,即定义信息量等于可能消息数的对数。这一点对尚农信息论的建立有直接的影响。1936年阿姆斯特朗提出了宽偏移的频率调制方法,这是一种抗噪声方法,不仅有重要的实践意义,而且是维纳信息论的重要前驱性工作。1937年,美国的G.R.斯蒂比兹用电话交换技术设计数字继电器计算机(机电式计算机)。1938年,尚农发表《继电器和交换电路分析》一文,用布尔代数探讨了继电器,为信息论的产生做了理论准备。1939年达德利发明了声码器,他提出名词解释：通信所需要的带宽至少同所要传送的信息的带宽一样才行,他也是编码理论的重要开创人之一。以上这些先驱性理论工作的主要弱点是把消息看成是一个确定性的过程,主要使用的数学工具是经典傅立叶分析,其结果与许多实际情况不符,表现出较大的局限性。
20世纪40年代初,N.维纳在研究防空火炮的控制问题时,把随机过程和数理统计学的思想方法引入通信和控制系统,揭示了信息的传输和处理过程的统计本质,并对信息系统中的随机过程进行谱分析,为通信系统的理论研究开辟新途径,导致维纳信息论的创建。1945年,美国制成世界第一台电子数字计算机ENIAC,同年,图灵提出“程序控制”的思想。
1948年,尚农发表《通信的数学理论》,用概率测度和数理统计方法系统地讨论了通信的基本问题,得出一些重要的有普遍意义的结论,从而奠定了现代信息论的基础。其理论核心是名词解释：在有噪信道中只要信息传输速率低于某个值——信道容量,就存在着一种编码方法,它可以使消息传输过程的差错概率任意小。这个结论具有划时代的意义,从数学方面看,是一个最优编码的存在定理;从工程方面看,促进人们去寻找有效通信系统。20世纪50年代后,尚农的数学结论得到进一步的严格论证和全面推广,尚农本人做了大量的工作,例如提出用电子计算机下棋的普遍原理(1950),发展了尚农信息论各方面的内容。同时,维纳信息论也有了长足的发展,20世纪50年代后期,已推广到非平稳过程及时变系统中。20世纪60年代初,卡尔曼和伯西将状态变量法引入到滤波理论中。用信号和噪声的状态空间模型代替了协方差函数,用时域的微分方程来表示滤波问题,得到了递推滤波算法,这就是卡尔曼滤波理论。这一理论很快就成功地应用于卫星轨道测量、导弹制导和自动化等许多领域。整个20世纪60年代,信息论的主要发展方向是应用。进入20世纪70年代,在理论方面又有新的重要发展,如卡拉思等人发展的信息过程理论。
20世纪40年代后,信号检测理论(维纳信息论的一个分支理论)也有极大的发展。1943年诺恩提出了匹配滤波理论。1946年卡切尼可夫提出了判断错误概率为最小的理想接受机理论。20世纪50年代,统计检测理论发展很快,米德尔顿等人用最小平均风险准则(贝叶斯准则)来处理最佳接受问题,使检测理论发展到一个新阶段,并使各种准则统一于风险理论。20世纪50年代末卡庞提出采用非参数统计判断方法,20世纪70年代这一方法得到广泛的实际应用。
现在,维纳信息论和尚农信息论都有更大的发展。在尚农信息论方面,现在重要的动向是名词解释：信息概念的深化;多址和多用户信道理论;多重相关信源编码理论等的发展。这些领域都与20世纪80年代信息工程——空间通信、计算机网络、图像电子学等密切相关。在维纳信息论方面,光纤通信已成为现实,成像雷达以及二维图像信息处理也有迅速发展,为此,量子检测和估计理论、非参数检测和估计理论及非线性检测与估计理论都有新的发展。现代的一个重要动向是这两种信息论的互相渗透和互相促进。
随着电子计算机的产生和广泛应用,信息处理问题逐渐推广到社会学、经济学、心理学、生物学等领域,产生了广义信息论。它本质上就是上述两种信息论在前述各个领域中的应用,以及由应用促进了的信息论本身的发展,同时,也包含了“信息”的哲学问题等,它们随着两种信息论的发展也有了长足的进展。
信息论是一门“横向科学”,与数学密切相关,它不仅深刻地应用了许多数学理论,而且它的一些分支就是数学的分支。
20世纪60年代以来信息论或信息科学的发展还有以下大事名词解释：1962年,美国发射世界上第一颗通信卫星“Talstar 1”,开创了空间通信时代;1963年,美国人C.克洛斯用群论方法发明无分组电话网络;1965年,美国人V.E.本奈斯发表《联网和电话业务数学理论》一文,为后来的计算机网络和电话网络提供了理论依据;1968年,美国贝尔实验室研制成功低能耗双异质半导体光导纤维;1986年,美国贝尔实验室在亚特兰大实验光波通信首次成功,揭开了光波通信的时代;1988年,美国铺设第一条横跨大西洋光缆成功;1991年,美国贝尔实验室发明光孤子传输信息技术;1998年,美国贝尔实验室宣布每根光纤每秒可传输400千兆信信息,提高了5倍。
这样,在信息论的指引之下,信息技术形成为巨大的信息产业(IT),这一产业的产值占社会总产值的比重,在美国已达35%,在中国也占相当比重,成为当代发展最快的高技术产业。
另一方面,信息论又提供了一种科学方法,那就是信息方法。所谓信息方法,就是运用信息的观点,把对象抽象成一个信息交换系统,把对象的运动看作是信息的输入、传递、处理、输出、反馈等信息流动的过程,是从信息系统的活动揭示对象的运动规律的一种科学方法。它有这样几个特点名词解释：①以信息作为分析和处理问题的基础;②把人们的认识和研究过程抽象为一个信息流,通过对信息的获取、传递、处理、输出、反馈等环节来揭示对象的性质和规律,即把认识过程和研究过程抽象为一个信息反馈过程;③在认识过程中引进信息处理机,形成新的人—机认识系统,实现人—机交互式地解决问题。由于这些特点,现在,信息方法的应用不仅仅局限于分析事物,而且还应用于构造一个复杂系统,即具有综合能力。
现在,信息方法已广泛应用于人类生产、生活与科学实验之中,并取得巨大成效,可以说计算机网络和社会信息化就是信息方法应用的成功表现。
网络已有专题述及。信息化则表现为人类的信息传播、处理和存储的能力在数量上和技术上的急骤扩张,人们已掌握了卫星通信、微波通信、光纤、电子计算机网络等现代信息系统。同时,越来越多的信息被物化到各种产品中,提高了产品中智能和知识的比重,出现了新兴的知识产业。信息产业在社会生产中所占的比例不断提高。这些就是所谓信息化。