神经网络是一个适应性很强的模型，在回归问题和分类问题中都有大量的实际应用。由于其模型的多样性，针对不同的场景可衍生出不同的神经网络，神经网络模型的性能比较好，同时对数据的要求比较高，参数多计算量大，对调参带来一定压力。

1.人工神经网络（Artificial Neural Network）

        人工神经网络没有一个严格的正式定义。它的基本特点是，试图模拟大脑的神经元之间传递、处理信息的模式。神经网络的划分主要考虑网络连接的拓扑结构、神经元的特征、神经元的特征、学习规则等。根据连接的拓扑结构，神经网络模型可以分为前向网络和反馈网络。

2.激活函数

sigmoid函数：

特点：

• 取值介于0~1
• 超出[-6,6]时，取值基本没有变化
• 

双曲正切函数：

特点：

• 取值介于-1~1
• 超出[-3,3]时，取值基本没有变化
• 

修正线性单元函数(Rectifier Linear Units,ReLU):

特点：

• 只有一半激活区，一半为0
• 不会梯度消失
• 计算简单，速度快，加速训练
• 更接近生物学原理

Softplus函数：

特点：

• 趋于负无穷时，取值趋于0，趋于正无穷时，取值趋于
• 是ReLU函数的平滑版
• 是Sigmoid函数的原函数

3.损失函数

回归中的均方损失：

分类中的交叉熵损失函数：

熵：香农信息量的期望。对于样本,假设真实的分布为,则熵为：

KL散度：如果用预测的分布代替真实的分布，则需要额外的信息增量：