1.1深度学习基本概念

机器学习系统是训练出来的，而不是按照预先给定的规则执行的
步骤：输入大量示例 —> 找到统计规则 —> 将任务自动化
而学习指的是：寻找更好数据表示的自动搜索过程
那么深度学习的“深度”表示什么？

1.png
通过图一我们可以看到深度学习是从连续的层中进行学习，而这些层都是从训练数据中自动学习的。而“深度”就是看层的数量。
过拟合：机器学习模型在新数据上的性能往往比在训练数据上要差。对训练数据过度优化，最终学到的表示仅针对于训练数据，无法泛化到训练集之外的数据。
张量：其实就是多维numpy数组， 当前机器学习系统都使用张量作为基本数据结构
标量（0D张量）：仅包含一个数字的张量，轴（阶）ndim=0
向量(1D张量)：一维张量。轴（阶）ndim=0
矩阵（2D张量）

现实世界中的数据张量
向量数据：2D张量。例如人口统计数据集：1000个人，每个人年龄、邮编和收入，可以存储在（1000,3）的2D张量中
时间序列数据或序列数据：3D张量。例如记录股票交易数据（250,390,3）可以记录250天，每天390分钟交易时间，每分钟3个交易数据
图像：4D张量。图像通常有三个维度：高度、宽度、颜色深度。（100,256,256，3）可以表示100张图片
视频数据：5D张量。例如每秒4帧的60秒视频，4段这样的视频可以表示为（4,240,256,256,3），而以这种float32方式存储太大，通常被压缩，如MPEG格式。

梯度优化算法：https://blog.csdn.net/v_JULY_v/article/details/81350035