1月20日：重要概念 | 知识复盘
1.信息量：信息多少的量度。
1928年R.V.L.哈特莱首先提出信息定量化的初步设想，但对信息量作深入而系统研究，还是从1948年C.E.香农的奠基性工作开始的。在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。
2.熵：熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。
克劳修斯于1854年提出熵的概念, 我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。
19世纪，物理学家开始认识到，世界的动力是能量，并且提出"能量守恒定律"，即能量的总和是不变的。但是，有一个现象让他们很困惑。物理学家发现，能量无法百分百地转换。比如，蒸汽机使用的是热能，将其转换为推动机器的机械能。这个过程中，总是有一些热能损耗掉，无法完全转变为机械能。一开始，物理学家以为是技术水平不高导致的，但后来发现，技术再进步，也无法将能量损耗降到零。他们就将那些在能量转换过程中浪费掉的、无法再利用的能量称为熵。后来，这个概念被总结成了"热力学第二定律"：能量转换总是会产生熵，如果是封闭系统，所有能量最终都会变成熵。
能量转换的时候，大部分能量会转换成预先设定的状态，比如热能变成机械能、电能变成光能。但是，就像细胞突变那样，还有一部分能量会生成新的状态。这部分能量就是熵，由于状态不同，所以很难利用，除非外部注入新的能量，专门处理熵。总之，能量转换会创造出新的状态，熵就是进入这些状态的能量。
那么，状态多意味着什么？状态多，就是可能性多，表示比较混乱；状态少，就是可能性少，相对来说就比较有秩序。因此，上面结论的另一种表达是：能量转换会让系统的混乱度增加，熵就是系统的混乱度。
转换的能量越大，创造出来的新状态就会越多，因此高能量系统不如低能量系统稳定，因为前者的熵较大。而且，凡是运动的系统都会有能量转换，热力学第二定律就是在说，所有封闭系统最终都会趋向混乱度最大的状态，除非外部注入能量。如果不施加外力影响，事物永远向着更混乱的状态发展。
3.负熵：即熵减少，是熵函数的负向变化量。负熵是物质系统有序化、组织化、复杂化状态的一种量度。
熵函数：一个物质系统中，熵函数就是热量与温度的比值。
熵增（即正熵）：熵函数的正向变化量。
熵减（即负熵）：熵函数的负向变化量。
齐拉德首次提出了“负熵”这个经典热力学中从未出现过的概念和术语。负熵就是熵的对立，熵代表的是无序，而负熵表示的则是有序。汲取负熵，可以简单的理解为从外界吸收了物质或者能量之后，使系统的熵降低了，变得更加有序了。因此，我们吃的东西必须本身非常有序，即食物必须低熵，所以我们动物只能吃生命。植物则有所不同，对于植物来说，最根本的负熵来自太阳的阳光。阳光是整个地球上所有生物所汲取的负熵的根本来源。因此，我们以后不要只感谢太阳带给我们的无限能量，一定要在后面加上一句，感谢太阳带给我们的负熵~！
与此同时，我们的身体不断地向外界辐射红外线，这就是带走生命运作增加的熵的一种方式；另一种方式是排泄，显然排泄物的混乱程度是比我们的食物更高的。
1月20日：重要概念 | 知识复盘
4.熵增：物理定义：熵增过程是一个自发的由有序向无序发展的过程(Bortz, 1986; Roth, 1993)。 热力学定义：熵增加，系统的总能量不变，但其中可用部分减少。统计学定义：熵衡量系统的无序性。熵越高的系统就越难精确描述其微观状态。
早在1947年薛定鄂就曾高瞻远瞩地指出了熵增过程也必然体现在生命体系之中(Schrodinger 1947)。人体是一个巨大的化学反应库，生命的代谢过程建立在生物化学反应的基础上。从某种角度来讲，生命的意义就在于具有抵抗自身熵增的能力，即具有熵减的能力。在人体的生命化学活动中，自发和非自发过程同时存在，相互依存，因为熵增的必然性，生命体不断地由有序走回无序，最终不可逆地走向老化死亡。
5.信息熵： 1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。香农借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。
香农总结了信息熵的三条性质：
非负性：即信息熵不能为负。这个很好理解，因为负的信息，即你得知了某个信息后，却增加了不确定性是不合逻辑的。
单调性：即发生概率越高的事件，其所携带的信息熵越低。极端案例就是“太阳从东方升起”，因为为确定事件，所以不携带任何信息量。从信息论的角度，认为这句话没有消除任何不确定性。
累加性：即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。
