走近信息论之父——香农博士

2001年2月24日，当代最伟大的数学家和贝尔实验室最杰出的科学家之一，84岁的香农（Claude Elwood Shannon）博士不幸去世。

香农1916年生于美国，1940年获得麻省理工学院数学博士学位和电子工程硕士学位。1941年他加入了贝尔实验室数学部，在此工作了15年。

1948年6月和10月，由贝尔实验室出版的《贝尔系统技术》杂志连载了香农博士的文章《通讯的数学原理》，该文奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代的基本概念：熵。在此基础上，他又定义了信道容量的概念，指出了用降低传输速率来换取高保真通讯的可能性。这些贡献对今天的通信工业具有革命性的影响。

“熵”的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概率分布的理论给出“熵”的严格定义。根据香农的定义，确定发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。只有当发生与不发生的概率相同时，事件的熵才达到极大。

在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。

如今，这两个原理已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损压缩的标准和极限。同时，它也是导出无损压缩算法做达到或接近“熵”的编码的源泉。像现在人们在PC机上常用的WinZip就是一个例子。在数字通讯中，各种语音信号在用数学模型提取参数（有损压缩）后也要对参数进行熵编码做无损压缩，这一无损压缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信道编码），因为根据香农的第二个理论，要尽量做到无失真的传送，就要用类似重复的方法来纠正可能出现的错误。毫不夸张地说，没有这两个方法，就没有今天的手机通讯。同样，在因特网上传递多媒体数据，无损压缩往往是必不可少的。比如现在所用的图像格式，除了BMP文件以外，其他格式都用到基于熵概念的无损压缩算法。在当今广为人知的MP3音乐压缩格式中，也同样用到基于熵概念的无损压缩算法。所以不论在电讯业还是计算机业中，只要涉及信息的压缩与传递，就要用到香农的理论。