一、单变量线性回归

2019-01-01 本文已影响0人 asdfgjsrgdf

一些符号：

   m：训练集数量
   x：输入   y：输出
（x,y）：一个样本
   $x^{i}:$ 第i个输入
   $y^{i}:$ 第i个输出
   $\theta _{j}：$ 模型参数
   $h_{\theta}(x)：$ 假设函数
   $\alpha ：$ 学习率

代价函数：

$J(\theta_0,\theta_1)=\frac{1}{2m}\sum {}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$ （此处为：平方误差代价函数）
至于为什么乘以1/2，是为了在求偏导时约去2，也有人说是为了降低极端值的影响

梯度下降：

  始于某一点，then
  repeat until 收敛{
        $\theta _{j}:=\theta _{j}-\alpha \frac{\partial }{\partial \theta _{j}}J(\theta _{0},\theta _{1})$     （j=0或j=1）
  }

如图，在向最小值下降的过程中，斜率越来越接近于0，变化的速度越来越慢。故一般不需要改变的值
过小会导致收敛速度很慢，过大会导致无法收敛或发散：

image.png

<注意>同步更新：

    错误：
         $temp0:=\theta _{0}-\alpha \frac{\partial }{\partial \theta _{0}}J(\theta _{0},\theta _{1});$
         $\theta _{0}=temp0;$
         $temp1:=\theta _{1}-\alpha \frac{\partial }{\partial \theta _{1}}J(\theta _{1},\theta _{1});$
         $\theta _{1}=temp1;$
                第二行要影响第三行

一、单变量线性回归

一些符号：

代价函数：

梯度下降：

<注意>同步更新：

猜你喜欢

热点阅读