逻辑回归

2018-09-28 本文已影响0人水星no1

逻辑回归：

公式

$\hat{y} = \sigma( W^TX+b )$
$\hat{y} = \sigma(\theta^TX)$ $\theta_0=b, X_0=1$

$where$ $\sigma = \frac{1}{1+e^{-z}}$
$X \in R^{n\times m}$
$\hat{y} \in R^{1\times m }$
$W \in R^{n \times 1}$
$b \in R^{1\times m}$

loss函数

$loss= \frac{1}{2}(\hat{y}-y)^2$ 非凸函数，容易造成局部最优
$log(loss) = -( ylog(\hat{y}) + (1-y)log(1-\hat{y})))$
$y=1 :$ $P( \hat{y} | X) = \hat{y}$
$y=0 :$ $P( \hat{y} | X) =1-\hat{y}$
$loss = - \hat{y}^{y} (1-\hat{y})^{1-y}$
$log(loss)$
Minimizing the loss corresponds with maximizing logp(y|x).

cost函数

$cost = \frac{1}{m}\sum_{i=1}^{m} loss(y, \hat{y})$

梯度下降

from ng

image.png

梯度下降，非向量化算法

image.png

loss 对 $\hat{y}$ 求导数

$d_{\hat{y}} = -\frac{y}{\hat{y}} + \frac{1-y}{1-\hat{y}}$

$\sigma$ 对 $\hat{y}$ 导数

$d\sigma=\hat{y}(1-\hat{y})$

上一篇下一篇

猜你喜欢

热点阅读