机器学习（二）线性回归

2019-01-10 本文已影响0人形式主义_5adc

假设函数h：

引导从训练集x得到y的函数

代价函数：

平方差代价函数是解决线性回归问题最通用的函数。

有m个维度的代价函数用 $J( \theta_{0}...\theta_{m})$ 表示

梯度下降：

不同的局部最优解

对于第j个系数，重复如下公式直到到达局部最最优解。

$\theta_{j} = \theta_{j} - \alpha \frac{\partial }{\partial \theta_{j}} J( \theta_{0}...\theta_{m})$

其中， $\alpha$ 为学习速率系数，来控制梯度下降的速率。

所有的系数要同时更新（不可以先对 $\theta _{1}$ 赋新的值再通过此式计算 $\theta _{2}$ ，因为新的 $\theta _{1}$ 值会改变 $J( \theta_{0}...\theta_{m})$ ）

线性回归的代价函数总是一个凸函数

Batch梯度下降：

每一步梯度下降都用到了整个训练集

机器学习（二） 线性回归