深度学习-基本概念

线性回归向非线性回归的转化

1. 线性回归

线性关系描述输入和输出的映射

2. 非线性回归

• 对线性模型引入一个激励函数，将线性回归转化为非线性回归

• 常用的激励函数
  （1）sigmod函数

  
  图1. sigmod函数方程
  图2. sigmod函数图像
  图3. sigmod函数的导数公式

  • 该函数在输入x趋近于-1和1时，梯度下降非常的慢，在输入趋近于0的过程中梯度变化非常的明显。
    （2）tanh函数

    
    图4. 函数方程
    图5. 函数图像
    图6. 函数导数

  • 该函数在输入趋近0时，梯度变化非常的明显，但是当输入趋近于无穷的时候，梯度变化非常的缓慢。
    （3）relu函数

    
    图7. 函数方程
    图8. 函数图像
    图9. 函数导数
  • 该函数在输入大于0时时梯度没有变化

3. 常用的损失函数

（1）softmax函数

图10. 函数方程

• 可以放大或缩小我们关注的某个值。

  
  图11. softmax解释

（2）交叉熵函数

• 函数方程

  
  图12. 函数方程
• 说明

  • 当真实值为1，预测值为0时，此时的损失函数值非常大，怎么避免该问题？可以考虑下式：

    
    图13. 交叉熵函数变换式

简单的神经网络模型

1. 神经网络结构图

图10. 简单神经网络结构图

2. 隐藏层节点输出值的计算

图11. 节点输出值的计算公式

 式子中W为权重矩阵（每一行代表一组参数w），x为输入向量，f为激励函数

3. 反向传播算法