一.deep learning的发展史

1.perceptron感知机

假设数据集线性可分，perceptron的目标就是找到一个超表面，使得wx+b=0可以将两类区分开。

2.backpropagation 暂时还不知道什么区别

3.RBM 初始值是一个突破，可以认为是机器学习这锅汤中的石头

4.deep learning技术方法与perceptron的本质是一样的，但是改了名字。

二.深度学习的模型modern

深度学习的三层模型

1.input layer只是习惯性的叫做layer，其实是参数矩阵；

2.hidden layer代表神经网络的神经元集合，我认为是为了实现构造一种参数分布，做到类型可以分，同时hidden layers的层数决定了deep的深度；

1)神经元

神经网络由神经元组成，每个神经元如上图所示，每个神经元都有一个 bias 和一个 function，每条输入的边都有一个 weight。

2）神经元的链接方式：fully connect feedforward network

每个神经元都与下一层全部的神经元连接即fully connect 计算时可以使用矩阵计算，输入向量乘上wight加上bias得出输出，每一层都是这么计算，上一层的输出时下一层的输入，由此直到最后产生输出

除了全连接神经网络，还有一系列例如CNN卷积神经网络。

3.output layer计算参数实现分类，由N个参数计算出概率以判断是M类中的哪一类。