Oct.07 《信息简史》3-1：香农的信息论1
文/杜豆豆
克劳德 • 香农
1
人类开始自觉地理解和利用信息，始于克劳德 • 香农在1948年创立的信息论。
跟着作者，我们领略了非洲土著鼓语的神奇，还有信息史上几个影响深远的关键事件：文字的发明、罗伯特•考德里的第一本英语词典、查尔斯•巴贝奇的差分机与爱达•拜伦的程序、沙普兄弟的信号塔与摩尔斯电码。
电报的发明，让信息更快捷，但是，电报也有缺点。比如要解码、每个字母都要钱、不能双向通话等等。
于是，电话应运而生。
电话的专利权之争还有个逸闻。据说当时是贝尔和格雷两人同时申请的，但贝尔早到了两个小时。还有一个人叫做安东尼奥 • 梅乌奇的，早在1860年就发明了电话原型，可惜没钱申请专利。最后，这专利还是归了贝尔。看来，智商固然重要，运气和财力也不可轻视。
电话和电报相比，在方便性上简直是个飞跃，只要会说话，就能打电话。所以，很快就开始普及。据说从1876年到1880年，仅4年时间，美国就装了6万部点对点的电话。
电话一多，网络就开始不堪负重。于是，交换机在1890年出现了，那时用电话的人有50多万，到1914年，达到了上千万。
庞大的通信网络迅猛扩张，需要新的技术来支持。
工程师们开始研究统一电话和无线电广播技术。他们设计出了真空管中继器，发展出了多路复用技术，发明了电话号码等等，创造了很多非凡的成就。
2
克劳德 • 香农就是在这样的背景下出生的。
他爷爷是个农场主，他打小就喜欢用围牧场的铁丝玩发电报的游戏，上学时还参加乐队、制作飞机模型、投递电报赚零花钱、破解密码。他最喜欢读爱伦坡小说中，破解羊皮纸密码的故事。
后来到了密西根大学读电气工程学和数学，又在麻省理工学院攻读研究生，操作一台叫做微分分析机的机器，实际上就是一台模拟计算机。这台分析机通过继电器控制电路通断，能够控制电话交换机的通话。
他根据研究，用布尔代数描述了电路，并在他的硕士论文中表明，任何电路都可以有一套表达式，并在其中运用演算法。他用0和1来代表表达式的状态，然后引入运算。熟悉吧？这就是二进制算术，是计算机革命的核心。
他发表这篇论文时，还是贝尔实验室的实习生，一个不起眼的研究助理。回到麻省理工后，他居然转入了遗传学，研究基因和染色体，他的博士论文，是理论遗传学的代数。他用字母和数字表示基因分子式，用一种验算法来预测基因组合和杂交的过程。不过，这篇论文最后没有公开发表。
他一直都在研究传递信息的一般系统的某些基本属性，认为所有通信系统都可以归结到某种一般形式，并且写成函数。这个函数代表的“在理想的系统中，最终输出将是输入的精确复制。”但是在真实状态下，会有失真。
香农结了婚后，到普林斯顿研读博士后。他开始琢磨逻辑学和数学的融合，希望能创建出一个由符号公式和证明构成的体系，以达到一种严格的形式上的确定性。这是当时很多同行都在追求的目标，但这一目标时不时总会出现悖论。
比如罗素悖论，贝里悖论。大家比较熟悉的理发师悖论——“理发师给所有不是理发师的人刮脸，那他给不给自己刮脸？”生活中可以变通，但放到文字和逻辑里就成了悖论。语言的逻辑当中会出现自相矛盾的结果，这就是罗素悖论。后来，哥德尔证明了罗素悖论的存在，并且提出“数可以用来编码任意形式的推理，表示任何形式的知识。”
3
香农在普林斯顿时，正是战争时期，他接了个和军事有关的项目——高射炮火控系统的数学研究。在做数据处理时，他发现和电话通信中出现的排除干扰问题很相似。信号不好有噪声，实际是信号的无规则运动，是分子运动论的原理。如果能把连续的波采样成离散的数字信号，再把这些离散信号传输回去还原成连续的波，就可以解决噪声问题了。
在香农理解这个关系的同时，贝尔实验室里已经有了这方面的基础研究，并且发现了传输速率和信道带宽的关系，提出了基本公式和数学模型。这就为香农信息论的诞生打下了非常好的基础。
阿兰 • 图灵当时也在为军方工作，他正参与一个通信加密系统的项目。在此之前，他曾经在一篇论文里设想过一种类似大脑一样可以思考的“图灵机”。这台机器的设想，图灵的初衷是为了证明数学是否可判定的问题。他采用了最简单的0和1做为指令符号，用打字机式的数字键盘和纸带来实现，然后做设计和操作，让机器去运算这些数。最后，图灵得出的结论是，有些数可命名、可定义却是不可计算的。这图灵机，其实就是后世电子计算机的雏形。
图灵还有一个伟大的成果，就是破解了纳粹德国的密码系统，让战争得到了尽快的结束。
香农也做了类似的密码研究。他从纯数学领域，发展出了密码学理论，研究了解密的数据规律。在这个过程中，他就受到了我们前面讲到的非洲鼓语中的冗余、字母顺序、莫尔斯码26个字母的出现频率等研究的启发，还有统计学、概率等问题，形成了信息论的基础。
通过对加密解密的研究，香农意识到，物理细节抽象到最后，就变成了和讯息意义无关的东西。
那信息到底是什么呢？下次讲。
下次讲解。
好了，今天的讲解就到这里。下次我们继续解读《信息简史》，欢迎持续关注。
（未完待续）
原创不易，转载请注明出处。如果您觉的文章有用，别忘了在文末点赞哦。图片来自网络，如有侵权，请联络删除。谢谢！
倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。我是杜豆豆，感谢您的关注。
作者简介：杜豆豆，IT从业20余年，曾先后研修英语、计算机、美学和心理学专业。早年创过业，后就职多家全球知名IT外企，现工作于某研究院。书痴一枚，闲时码码字。兼任多家平台签约作者，简书会员合伙人，万卷好书工作室、万卷好书读书会创立人。
