一、神经网络基础

2018-11-19 本文已影响0人屉屉

typora-copy-images-to: ipic

即使用sigmoid激活函数处理一个简单的神经网络 $y = W^Tx +b$ ，将其输出映射到区间（0，1）之间，方便做二分类。其中W、b为神经网络的两个参数矩阵。

sigmoid函数： $a=\frac{1}{1+e^{-z}}$

sigmoid函数-7372818

定义一个凸函数（容易优化），来衡量预测值和真实值之前的差距，即衡量模型在训练样本上的表现。

在logistic常用对数损失函数衡量模型表现：

对于单个样本： $loss(h_{\theta}(x),y) = -y_ilog(h_{\theta}(x)) - (1-y_i)log(1-h_{\theta}(x))$

衡量单个样本的预测准确性。

对于全部样本： $J(w,b)=\frac{1}{m}\sum_{i=1}^mL(a^i,y^i)=-\frac{1}{m}\sum_{i=1}^m[y^iloga^i+(1-y^i)log(1-a^i)]$

衡量参数W、b的效果。

即minimize $J(w,b)$ 的方法。

沿着成本函数 $J(w,b)$ 下降最快的方向更新参数W、b，以罩到全局最优解使得成本函数最小。

算法实现：

初始化参数 $(\theta_0, \theta_1..., \theta_n)$
求当前位置损失函数的梯度（下降最快的方向、导数/偏导数）

$\frac{\partial}{\partial\theta_i}J(\theta_0, \theta_1..., \theta_n)$
用步长（学习率）* 梯度确定下降的距离

$\alpha\frac{\partial}{\partial\theta_i}J(\theta_0, \theta_1..., \theta_n)$
确定下降的距离是否小于阈值，判断是否需要继续
更新参数

$\theta_i = \theta_i - \alpha\frac{\partial}{\partial\theta_i}J(\theta_0, \theta_1..., \theta_n)$
确定更新参数后的损失函数是否小于阈值