香农信息论笔记

香农到底解决了什么问题？

三个基本概念：信源熵，信道容量，率失真函数

三个极限定理：无失真信源编码，限失真信源编码，信道编码。

信源——>信道——>信宿

如何对信源进行高效编码？
香农第一定理：变长编码定理。二进制平均码长>=信源熵。

https://wenku.baidu.com/view/da719cf3d4d8d15abe234ee3.html?sxts=1578292238134