08-06 信息论重要模型

整个宇宙最重要的就是能量和信息。

三条最重要的公式，

1.物质与能量的关系，能量和物质是相通的。

2.香农的信息熵公式，描述信息如何量化。

3.海森堡测不准原理，描述科学边界。量子力学的范畴，实际上在告诉我们科学的边界。

因为我们观察粒子这件事情，本身就会改变他的行为。我们的观察改变了客观世界。我们真正能观察到的事情就是客观世界和主观想象之间的结合。

能量守恒但信息不守恒，人类之间分享知识，是可以为这个世界创造纯粹增量的事情。

信息熵 informationentropy 

描述一个东西不确定程度的量，就是搞清楚一件事情的难度。

信息熵跟某个关系的因素，盲盒举例子：

可能性越不平均，信息熵就越低

信息量就是用来把信息熵消除掉的信息， 所需要的能量，衡量信息量的基本单位，就是比特。

日常生活中莫能两可的态度是最没有信息量的。不做选择和随波逐流，或者平均分配注意力，就会增加整个系统的无序性。

如何聪明的分配资源和注意力呢？

信息论里面一个重要模型：霍夫曼编码 huffman coding

如果我们把较短的编码分配给高频出现的词汇，而把那些较长的编码给低频的词汇，而整体而言我们用编码表达语言的时候，就可以实现效率最优化。

针尖压缩算法  interframe compression

影像动画最小单位的单幅静止画面，视频一定要压缩的，不然我们的带宽接受不了。

一部不压缩的两小时高清电影，其实非常大。

通过关注信息增量而不是关注信息存量，来极大的提升效率。

关注变化忽略重复，可以使我们的效率提升N倍。

读书的原则，不平均用力，读越基础，深刻，偏理论的书，花的时间越多。

越表层，越肤浅，越偏应用的书时间越少。

这其实就是霍夫曼编码理论。因为基础的知识在很多不同的数据里面都会出现，所以是高频场景配备大量资源去搞定。所以读书的方法就是，霍夫曼编码和帧间压缩算法的结合。

集中精力夯实基础知识，只关注新知识的增量。

互信息

两件事情之间的互信息越大，就表明之间的相关性越强，

从信息论的角度，它只关心信春哥这件事情，到底能够给不挂科这件事情消除多大的不确定性，减少多少信息熵，两个独立事件之间的相关性，是可以通过严格计算得出的，只要他们之间的互信息比较高，我们就可以确定他们之间的相关性，而不需要寻找他们的因果性。这是数据科学给人类非常重要的思考方法。

因为人类是非常喜欢寻找因果的生物，却忽略了相关性。

生活是错综复杂的，记忆是主观的，非常容易美化自己，且忽略某些不能说的东西，简单归因通常都是很难还原真相的。

高度信息的极端情况就是信息等价

只要知道了信息A的发生的信息，就等同知道事件B发生的信息，    或者等同于说废话。

冗余度 Redundancy

简单来说就是资源的重复度~

冗余备份最好的例子其实就是区块链，他们把冗余这件事做到了极致，

去除冗余度的方法

1.先把关键概念零散列出来，只需要重要写上去。

2.寻找他们之间的关联，对他们进行分类，链接，同时拿掉信息等价的卡片。

3.思维模型进行套用和矫正。