吴军.信息论40讲
吴军.信息论40讲
导论
发刊词|信息时代每个人的必修课
信息时代最显著的特征是什么：信息时代的最大特征是不确定性
牛顿时代大家看到的变化是连续的，而今天经历的常常是非连续的，或者说是跳跃性的变化，不确定性加上跳跃式变化，才让大家感到格外焦虑。
对付不确定性的方法是什么呢？1948年，香农博士找到了确定性和信息的关系，从此为人类找到了面对不确定性世界时的方法论，也就是利用消息消除不确定性.
世界上的知识，可以分为道和术两个层面
总结
一个人的思维方式和做事方法常常决定了一个人能够走多远，而在历史的任何时期，都有罪适合时代的方法论
01影响世界的三比特信息
- 不要重视钱而轻视信息。
- 不要重视钱而轻视信息。
- 不要重视钱， 而轻视信息！
- 善用信息和善用金钱一样重要， 在这门课程里， 甚至可以认为善用信用比善用金钱还重要。 这是因为很少信息的背后，可能包含着改变成千上万人命运的力量。 为了证明自己的观点, 吴军老师举了三个例子,其中的“诺曼底登陆2选1”、“纸上谈兵的赵括”是很多人都了解的。
对 “如果一种情况发生的可能性大，另一种发生的可能性小，所需要的信息就不到1比特。比如说，一种情况出现的概率是1/3，另一种是2/3，这种情况下消除不确定性的信息量则降低到0.9比特。” 的解释
在二选择一的场景下，假设第一选择发生的概率是p （p介于0~100%），那么根据信息量（所需比特）公式定义为 log(p) + log(1-p) = log [p*(1-p)], 因为log函数是单调递增的， 所以 p(1-p)取最大值的时候，信息量（比特）也最大， 即 p = 50%时最大。 那么当p往两边跑的时候,这个信息量就下降了。
（大家可以想象一条抛物线， 在中点 p = 0.5的地方是最高点）
对 “我们知道1比特信息是非常少的，是一个计算机字节的1/8，一个像素的1/24。” 的解释
- 计算机是二进制的， 一个字节（1byte, 1B）由八位0或1组成的数串组成， 例如 01011010 ， 其中的每一位叫做 比特（1bit, 1B=8bit).
- 而一个像素对应的比特信息， 需要看是什么模式了， 有以下几种常见模式：
- 如果是灰度模式（黑白照片）1像素就是1byte；
- 如果是RGB模式， 1像素则要用（R,G,B) 三个byte表示；
- 如果是CMYK模式，1像素则要用（C,M,Y, K) 四个byte表示；
吴军老师在文中提到的1比特是一个像素的 1/24， 是指RGB模式下的场景。
关于Peter_Norvig
-
他是全世界人工智能领域的殿堂级人物，人工智能教科书的作者， Google研究院的“火车头组”之一。
-
我无意之中曾经看过他2016年Berkely毕业生典礼上的演讲[You Can Always Get What You Want — But Not What You Need]， 对我产生了很大的启示。 为了方便我已经上传到B站， 有兴趣的同学在Bilibili视频网站， 搜索Norvig就能看到了。
