一.代价函数的理解

假设模型（函数）：

模型（函数）参数：,例如：

参数的设定对模型拟合程度（拟合真实情况）起到决定性作用

假设函数：                   预测值：

真实函数：                            真实值：

预测值和真实值（实际值）的差的平方：

意义：平方差越小，预测值和实际值越接近

预测值和真实值（实际值）的差的平方的总和：

意义：每个预测值和实际值都很接近，那么假设函数就能代表（接近）真实函数

：样本容量

i: 样本中的第i个值

平均误差：

累积和的1/2

损失函数（代价函数）：预测值和真实值的离均差平方和。

假设函数：

参数：

代价函数：

假设函数：

参数：

代价函数：

的等高线图

这里有三个点有相同的值

在同一条线上的点，他们的值是相同的

相当于三维的图被拍扁了，用少量的线表示不同的高度。

加入三维图是——中间低，两边高的——山谷图

山谷的最低值在，一圈一圈圆圈的最中间的位置

二.梯度下降法的理解

步骤：

1.设定的初始值（）

2.持续改变去减少

：=  代表赋值。

:代表步伐大小

前一个偏导和后一个偏导相比，如果前一个偏导小时候，用后一个偏导代替作为前一个偏导再和下一个偏导相比。最终找到最小的。

那个点是局部最优解，那个点的偏导是0

这个只有全局最优