2018-03-08 计算生物学笔记（有点乱）

开始：信源
过程：信道
结束：信宿

一个基本模型：
信源 ——编码——信道——解码——信宿

信道 （可能中间产生干扰）

信息量：信息是否可以量化
信息熵：信息在系统中维生

物质熵：
负熵 —— 系统可以维生
正熵 —— 消耗

信息熵：

补充信息
比如说一个人坐牢，给他吃喝，不给他信息补充，信息消耗，直到消亡

信息也是生存的重要因素

一个系统存在（能量，物质，信息）

信息量：

与概率有关系。

A1 A2 A3 A4 A5 A6 A7 A8
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16

A1 A2 一组 E0
E00 E01

其余一组 E1

E 1 分两座

E10 ( E100 E101)

E11 ( E1100 E1101 E1110 E1111)

后面的数字 是编码位数。与概率有关系。

hi = log 2 1/pi

hi 就是信息量

假设一段核酸序列(3个一组）
AAA AAC AAG AAT ...

p=1/64

hi = log 4 1/1/64

信息熵：

平均位数 (2+2+3+3+4X4)/8

Pi X log 2 1/p

就是平均位数

若都是等概率的情况
信息熵最大