01-神经网络和深度学习-WK1

本笔记是吴恩达深度学习工程师系列课程笔记。

课程地址：http://mooc.study.163.com/smartSpec/detail/1001319001.htm

1.2 什么是神经网络？

(NG真是喜欢预测房价……)

以预测房价为例，可以建立一个左边被修正的线性拟合（房价不会小于0）函数，这样一个函数被称为Relu function。

全称是“修正线性单元” 即ReLU （which stands for rectified linear unit, so ReLU）

一个简单的神经网络

这就是一个规模很小的神经网络，更大的神经网络就是把这些单个神经元堆叠起来（stacking）形成的，就像‘乐高’积木一样。

比如当知道更多关于这个房子的信息时，我们可以构建更复杂的神经网络：

一个隐层的神经网络

实际上构造神经网络时，中间的隐层具体含义是由神经网络自己通过组合特征计算出来的（有待深入理解）

只要给定足够的（x,y），神经网络非常擅长计算x到y的映射函数。

1.3 用神经网络进行监督学习

目前神经网络创造的经济效益几乎都出自于监督学习。

神经网络应用于不同的问题

• Standard NN , 标准的神经网络，通用于如预测房价、广告点击等领域
• CNN ，卷积神经网络，图片标记
• RNN ，循环神经网络，应用于序列数据处理，如音频、语言翻译
• 定制复杂神经网络，复杂问题，如利用雷达数据进行自动驾驶

各种神经网络在教科书上通常长这样：

Neural Network examples

人类擅长理解非结构化的数据，图片、语音…… 近两三年的发展使得计算机处理非结构化数据的能力大幅提升，在图片、语音、语言处理等方向的应用得以成行。

结构化与非结构化数据

1.4 为什么深度学习会兴起？

NG'回答：可以作这样一张图，随着数据规模（有标记的数据）的上升，不同的算法表现曲线会有区别。

当数据规模还较小时，各种算法的性能优劣不好确定，更多的是取决于特征工程技术（以及一些细节）；当数据量非常大时，将可见到神经网络算法稳定的领先于其它算法。

NG's answer to why deep learning become more popular

另一方面，数据的增长（基础）、算力的提升（效率），都为快速验证在大量数据下的神经网络应用效果提供了支持，神经网络算法的改进也起到一定作用。这三方面仍在提升，仍将继续促进深度学习的发展。

三大因素促进深度学习爆发