克劳德·香农：看我如何发明未来

中科院物理所 今天

以下文章来源于新智元 ，作者新智元

新智元
新智元

智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。

【导读】克劳德·艾尔伍德·香农，美国数学家、电子工程师和密码学家，被誉为信息论的创始人。他发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。

他不曾捧起过一座诺贝尔奖杯。
 
他的名字也不曾如爱因斯坦、费曼般如雷贯耳，无论是生前死后。
 
但在大约70年前，他为现代信息时代开创了先河，奠定了整个通信基础设施的基础。
 
他是克劳德·香农，一个不可磨灭的名字。
 

图片

 
信息交流不确定性
 
1916年，香农出生在密歇根州盖洛德市，父亲是一名商人，母亲是一名教师。从密歇根大学获得电气工程和数学学位后，他在麻省理工学院写了一篇硕士论文，将一门名为布尔代数的数学学科应用于开关电路的分析和合成。
 
图片
这是一个变革性的工作，把电路设计从一门艺术变成了一门科学，现在被认为是数字电路设计的起点。
 
此后，香农的心里有了一个更大的目标：通信。
 
从狼烟烽火到飞鸽传信，再到如今的电脑、电话，通信，一直是人类生存的基本需求，而人类也在借助着科技的力量，让通信的距离越来越远，通信的内容越来越可靠。
 
 
但是通信系统的工程总是与特定的源和物理媒介联系在一起。香农反问:「通信是否存在一个大统一理论?在1939年写给导师万内瓦尔·布什(Vannevar Bush)的信中，香农概述了他关于“用于情报传递的一般系统的基本特性」的一些最初想法。
 
在研究这个问题十年之后，香农终于在1948年出版了他的杰作:《通信的数学理论》。
  
这本书的核心思想极为简单：发射器将信息编码成信号，信号被噪声破坏，然后由接收器解码。
 
 
尽管它很简单，香农的模型包含了两个关键的见解:从要设计的通信系统中隔离信息和噪声源，以及对这两个源进行概率建模。他想象着信息源产生了许多可能要交流的信息中的一条，而每一条都有一定的概率。概率噪声进一步增加了接收端解开的随机性。
 
在香农之前，通信问题主要被看作是一个确定性的信号重构问题：如何变换被物理介质扭曲的接收信号，以尽可能准确地重建原始信号。香农的天才之处在于他发现沟通的关键在于不确定性。
 
毕竟，如果你事先知道我会在这篇文章中对你说些什么，那么写它还有什么意义呢?
 
 
位
 
但在当时，这对通信工程师们来说，这个不小的打击。
 
因为这将通信问题从物理上转移到了抽象上，使得香农能够利用概率对不确定性进行建模。
 
在不确定性和概率的框架下，香农在他的里程碑式的论文中系统地确定了通信的基本限制。
 
他的回答分为三部分。在这三者中起核心作用的是信息「位」（bit）的概念，香农将其作为不确定性的基本单位。这个词是「二进制数字」的合成词，一位可以是1也可以是0，香农的论文是第一个使用这个词的人(尽管他说数学家约翰·图基首先在备忘录中使用了这个词)。
 
 
首先，香农提出了一个表示信息的最小每秒比特数的公式，这个数字被他称为熵率h。这个数字量化了确定信息源将产生何种信息所涉及的不确定性。
 
熵率越低，不确定性越小，因此更容易将信息压缩成更短的内容。
 
例如，每分钟发送100个英文字母的短信意味着每分钟发送26100条可能的信息，每条信息由100个字母序列表示。可以将所有这些可能性编码为470位，因为2470≈26100。
 
如果序列是等概率的，那么香农公式会说，熵的速率确实是每分钟470比特。在现实中，某些序列比其他序列更可能出现，而且熵率更低，允许更大的压缩。
 
第二,他提供了一个公式的最大数量比特每秒可以可靠地传达的噪音,他称之为系统的容量,c,这是最大的速率接收方可以解决信息的不确定性,有效地使其通信的速度限制。
 
最后，他指出，当且仅当H < c时，噪声源信息的可靠通信是可能的。因此，信息就像水一样:如果流速小于管道的承载能力，那么水流就可以可靠地通过。
 
虽然这是一种传播理论，但它同时也是一种关于信息如何产生和传递的理论——一种信息论。因此，香农现在被认为是「信息论之父」。
 
 
他的定理导致了一些违反直觉的结论。
 
假设你在一个非常嘈杂的地方谈话。确保你的信息得到传达的最好方法是什么?也许会重复很多次？这当然是每个人的第一反应，但事实证明，这并不是很有效。当然，你重复自己的次数越多，沟通就越可靠。但是你为了可靠性牺牲了速度。
 
香农向我们展示了我们可以做得更好。重复信息是使用代码来传输信息的一个例子，通过使用不同的和更复杂的代码，一个人可以快速通信——一直到速度限制C——同时保持给定的可靠性。
 
 
事实上，香农也证明了，在很多事情上，熵的概念可以作为压缩的基本极限。

比特作为信息的通用货币统治着世界，他是个科学家


从香农的理论中得出的另一个出人意料的结论是，无论信息的性质是什么——无论是莎士比亚十四行诗、贝多芬第五交响曲的录音还是黑泽明的电影——在传输之前将其编码成比特总是最有效的。
 
所以在无线系统中,例如,尽管最初的声音和电磁信号通过空气发送模拟波形,香农定理意味着它是最佳的先数字化声波成碎片,然后这些比特映射到电磁波。
 
这一惊人的结果是现代数字信息时代的基石，比特作为信息的通用货币统治着世界。
 
 
香农的一般交流理论是如此自然，就好像他发现了宇宙的交流法则，而不是发明了它们。他的理论如同自然物理定律一样是基本的。
 
从这个意义上说，他是一个科学家。
 
香农发明了新的数学来描述通信定律。他引入了新的思想，如概率模型的熵率，这已被应用于广泛的数学分支，如遍历理论，研究动力系统的长期行为。
 
从这个意义上说，香农是一位数学家。
 
但最重要的是，香农是个工程师。
 
他的理论是由实际工程问题所激发的。
 
尽管当时的工程师对香农的理论很深奥，但现在香农的理论已经成为所有现代通信系统的标准框架:光学系统、水下系统、甚至星际通信系统。

事实上，目前推出的5G标准使用的不是一个，而是两个实际代码，被证明达到了香农的速度极限。
 
 
香农在70多年前就找到了这一切的基础。他是怎么做到的?坚持不懈地关注一个问题的本质特征，而忽略了其他所有方面。他沟通模式的简单就是这种风格的一个很好的例证。他也知道要专注于可能的事情，而不是立即可行的事情。
 
香农的研究说明了顶级科学的真正作用。当我开始读研时，我的导师告诉我，最好的工作是修剪知识之树，而不是让它生长。当时我不知道该如何理解这条消息;我一直认为，作为一个研究人员，我的工作就是添加我自己的小树枝。但在我的职业生涯中，当我有机会将这一哲学应用到我自己的工作中，我开始理解。
 
当香农开始研究通信时，工程师们已经掌握了大量的技术。正是他的统一工作，将所有这些知识的细枝修剪成一棵连贯可爱的大树——这棵大树为一代又一代的科学家、数学家和工程师结出了果实。
 
参考链接
https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/


来源：新智元

编辑：观山不易

近期热门文章Top10

↓ 点击标题即可查看 ↓

1. 究竟是什么神秘力量，让中国孩子集体扁了头？

2. 为什么啤酒用绿瓶子装，白酒用透明瓶子装？

3. 让巨轮断裂、大桥损毁，宇宙第一元素竟这么邪门

4. 今天我们不搞科研，来搞颜色

5. 这种水果千万别轻易用微波炉加热，否则……

6. 珍惜这些食物，要不是人类为了吃，它们早灭绝了

7. 最黑的颜料有多黑？

8. 数字人民币来了，它到底是什么？

9. 为啥点了个鸳鸯锅去聚餐，总是辣锅先开呢？

10. 越剪越大？莫比乌斯环到底神奇在哪里？

 点此查看以往全部热门文章 

    阅读原文