程序的两类任务

1. 通过常识与技巧编程。

2. 用数据编程。

1.1 起源

数据分析正是大部分自然科学的本质，我们希望从日常的观测中提取规则，并找寻不确定性。

1. 只有两种结果的随机过程（如抛掷一枚硬币）的伯努利分布

2. 最小二乘法（深入理解最小二乘法）

3. 线性判别分析和费雪信息

4. 绝大多数神经网络都包含以下的核心原则

    4.1 交替使用线性处理单元与非线性处理单元，它们经常被称为“层”。

    4.2 使用链式法则（即反向传播）来更新网络的参数。

5. 神经网络发展的低谷

    5.1 尽管20世纪末内存已经足够，计算力却不够充足

    5.2 当时使用的数据集也相对小得多

    5.3 由于数据和计算力的稀缺，从经验上来说，如核方法、决策树和概率图模型等统计工具更优。它们不像神经网络一样需要长时间的训练，并且在强大的理论保证下提供可以预测的结果。

1.2 发展

1. 统计模型可以在优化参数上投入更多的计算力，但同时需要提高存储的利用效率，例如使用非线性处理单元。？

2. 下面的列表仅仅涵盖了近十年来深度学习长足发展的部分原因

    2.1 优秀的容量控制方法，如丢弃法，使大型网络的训练不再受制于过拟合

    2.2 注意力机制解决了另一个困扰统计学超过一个世纪的问题：如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度。

    2.3 记忆网络 [6]和神经编码器—解释器 [7]这样的多阶设计使得针对推理过程的迭代建模方法变得可能。

    2.4 生成对抗网络

    2.5 多GPU训练

    2.6 深度学习框架使得建模更加容易

1.3 成功案例

阅读原著P6

1.4 特点

深度学习是具有多级表示的表征学习方法，在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。

1. 深度学习的一个外在特点是端到端的训练

2. 我们正在经历从含参数统计模型转向完全无参数的模型。