Introduction of Deep Learning

深度学习的三大步骤与浅度学习的步骤一致

step1:define Neural Network

step2:goodness of function

step3:find the best function

        与浅度学习不同的是，deep learning中的函数集换成了神经网络集。一个神经网络相当于一个函数。而deep的含义则指神经网络的具有层次，我个人理解是相比浅度学习立体了起来，因为有了层次的概念。

step1:

神经网络简单来理解就是由很多输入输出层构成的网络结构，层次之间不同的连接构成了不同的网络结构。

最简单的例子：前馈全连接神经网络

可以将每层之间数据的变化用矩阵操作来表示。下图中wi就是一个N*N的矩阵，bi是一个N*1的矩阵，输入的N*1矩阵X经过L次矩阵运算后得到输出的Y。由于是矩阵运算，因此可以用并行计算技术来加速矩阵运算，比如使用GPU。

将特征提取的过程取代feature engineering和feature transformation的过程，经过hidden layer后成为一组新的feature，这个feature可以用于分类。最后一个layer变成softmax。

例子：图片识别数字

输入：256维vector，输出10维vector，每个维度代表一个数字（从1到0）

step2:

定义一个function的好坏，因此要定义损失函数，拿识别手写数字来讲，计算每个实例的结果与计算所得的cross-entropy，然后将各个实例的cross-entropy加起来，就可得到loss function

step3:

使用梯度下降法寻找使损失函数取得最小值的参数。