1、神经网络算法

1、1多层向前神经网络（multiplayer feed-foward neural network）

1.1.1 bp算法

1.1.2 多层向前神经网络由输入层，隐藏层，输出层组成

1.1.3 每层由单元（units）组成，单元又叫神经节点。

1.1.4 隐藏层的个数是任意的，输入层和输出层只有一层。

2、设计神经网络结构

2.1 首先应确定神经网络的层数和每层的单元数

2.2 特征向量在输入之前通常要先标准化到0-1之间（为了加速学习过程）

2.3 对于分类问题，输出的单元数往往跟类别数是一样的

3、交叉验证（cross-validation）

k-fold cross validation

取一份作为测试集，k-1份作为训练集，这样我们就重复了k次，取均值

4、BP算法（backpropagation）

4.1 通过迭代性来处理训练集的实例

4.2 对比经过神经网络后的输入层预测值和真实值之间的差值

4.3 反方向更新每个连接的权重

4.4 步骤

4.4.1 初始化权重和偏向（bias）：随机初始化在-1～1之间，或者-0.5～0.5之间，每个单元都有一个偏向。

4.4.2 每个单元先进性线性的回归，再进行非线性转化

4.5 根据误差反向传送