2017.10.26

今天复习了信息论与最大熵那一块，信息熵作为一个信息的度量，表示事件的不确定性；人类在生产实践的时候就是不断地降低目标事件的不确定性，通过先验概率求后验概率，我们需要寻找降低不确定线性的最大信息熵，同时增加目标事件发生的确定性。

需要理解的概念有：

1.条件熵    2.互信息  3. 相对熵   4. 交叉熵

理解这一块要好好复习概率分布那块的知识，对于后面的决策树的学习有帮助。

《机器学习实战》看到的关于机器学习的理解：

机器学习即把无序的数据转换成有用的信息。