神经网络和深度学习 - Chapter1 深度学习概论

Supervised Learning

• 输入特征，学习一个映射函数预测得到输出；
• 常见的监督式学习例子如下：其中房屋价格预测、在线广告常使用标准的DNN网络结构；对于图像分类任务常使用CNN网络结构；对于语音识别、机器翻译任务常使用RNN网络；对于自动驾驶这类复杂的任务，常使用混合的网络进行处理。

1. 房屋价格预测：输入特征，预测得到房屋的价格price；
2. 在线广告：输入广告、用户等相关特征，预测用户是否会点击此广告(0/1)；
3. 图像分类：输入一张图片，判断这个图片是什么猫或者狗等；
4. 语音识别：输入一段语音，输出这个语音对应的文本信息；
5. 机器翻译：输入一个源语言句子，输出这个句子的翻译结果；
6. 自动驾驶：输入图片和雷达等信息，判断其他车辆所在位置；

监督式学习.png

Neural Network examples

神经网络举例.png

Structured data & UnStructured data

• 房屋价格预测、在线广告等场景利用的是结构化数据，每个特征都是提前处理好的；对于语音、图像、文本这些就是非结构化数据；

结构化&非结构化数据.png

深度学习兴起缘由

• 当数据量非常小的时候，深度神经网络的效果相比传统的机器学习方法比如SVM, LR等并没有明显的优势；只有在大量的训练数据的时候，深度神经网络的效果远超传统机器学习方法。

深度学习兴起缘由.png

• 深度学习的发展得益于以下三个方面的发展：

1. 数据的不断丰富，大规模的训练数据；
2. 计算性能的提升，比如CPU，GPU的发展；使得模型可以快速地迭代；
3. 算法的更新迭代；比如将sigmoid激活函数，变换成Relu激活函数使得模型能够快速训练。因为sigmoid的激活函数在两端的梯度值接近于0。

image.png

本课程大纲

1. 神经网络深度学习基础；
2. 神经网络超参数调优、正则化、优化算法；
3. 结构化机器学习算法；
4. 卷积神经网络；
5. 自然语言处理：建立序列模型；

课程大纲.png

参考资料

• 课程主页：神经网络和深度学习（吴恩达） https://mooc.study.163.com/course/2001281002?tid=2001392029#/info