机器学习(二) 线性回归
2019-01-10 本文已影响0人
形式主义_5adc
假设函数h:
引导从训练集x得到y的函数
代价函数:
平方差代价函数是解决线性回归问题最通用的函数。
有m个维度的代价函数用表示
梯度下降:
不同的局部最优解
对于第j个系数,重复如下公式直到到达局部最最优解。
其中,为学习速率系数,来控制梯度下降的速率。
所有的系数要同时更新(不可以先对赋新的值再通过此式计算,因为新的值会改变)
线性回归的代价函数总是一个凸函数
Batch梯度下降:
每一步梯度下降都用到了整个训练集