哲哲的ML笔记（十二：逻辑回归中的代价函数）

2021-03-27 本文已影响0人沿哲

代价函数

要定义用来拟合参数的优化目标或者叫代价函数

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将

h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{ -\theta^Tx}}

带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。
重新定义逻辑回归的代价函数

这样构建的 $Cost(h_\theta(x),y)$ 函数的特点是：当实际的 $y=1$ 且 $h_\theta(x)$ 也为 1 时误差为 0，当 $h_\theta(x)<1$ 但不为1时误差随着 $h_\theta(x)$ 变小而变大
由于 $y$ 只能取0或1，所以 $Cost(h_\theta(x),y)$ 可以写成
$Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))$
$J(\theta)=\frac{1}{m}\sum_{i=1}^m-y^{i}log(h_\theta(x^{i}))-(1-y^{i})log(1-h_\theta(x^{i}))$