[线性回归] 模型和代价函数

代价函数 Cost Function

为了度量预测函数(hypothesis)的精确性，我们引入了代价函数。它用对所有基于输入(x)的预测结果和输出(y)取平均差。

代价函数

它其实是平均值的1/2，这个平均值是m项加起来最后除以m所得。
这个代价函数又叫“平方误差函数”，或者“均方差函数”^[1]。
均值前面的1/2是为了方便梯度下降的计算（用1/2抵消1/2平方项求导产生的2）。

Prof.Ng 的PPT草图

例子

想象着数据集分散在xy轴所构成的画板上，有一条线尽可能穿过所有的点. 这时J(θ0,θ1)将等于 0. 接下来的例子是一种理想状态的代价函数，它的值为0.

当 θ1=1 时, 斜率为1的直线穿过了所有的点。
当 θ1=0.5 时，我们所画的线到数据点之间的距离增加。

这时代价函数值为 0.58。 再继续画几个点就会得到如下所示的图:

我们的目标就是得到代价函数的最小值。在这个案例中，θ1=1就是目标的最小值。

注：
[1] 这里用均方误差来衡量，是经过实践校验比较合理精确的方法，还有其他的方法后续也会介绍。均方误差——百度百科