16.机器学习- 逻辑学习（2）逻辑回归中的代价函数

我们之前学习的代价函数是一个凹函数，而将代价函数套用到逻辑回归中我们发现图形是上图中右侧那样不规则的曲线，如果使用梯度下降，那么就很可能只到一个局部的最低点，就不再往下找。

1. 逻辑损失函数

损失函数有两个条件公式，分别是当y=0和1的时候。

负的log函数曲线是向下的，我们把概率在0,1的曲线放大在左侧来看：

当概率为1的时候，损失函数无限接近于0，当概率为0的时候，损失函数无限大。

接下来我们看下当概率为0的时候的曲线

f的范围被限制在0到1之间，因为逻辑回归只输出0到1之间的值。

选择这个损失函数之后，整个代价函数就是凸函数了。至于怎么证明这个是凸函数，我们可以去学凸优化。

2. 简化逻辑回归代价函数

简化的损失函数用一个方程就表示了两个条件的方程式。

当y等于1和0的时候刚好分别对应了各自的方程式。

逻辑回归的成本函数

我们代入到代价函数中就是如图形式。