线性模型和梯度下降（概念简单理解）

2019-05-05 本文已影响0人泛酸的桂花酒

对于线性模型和梯度下降在网上解释有很多版本，这里加上自己的理解，总结出了整个简单易懂的版本

一元线性回归

一元线性模型，是一个很简单的数学模型，很多教程也都用来入门介绍。
其数学表达式可以写成:

$y$ = $wx$ + $b$
这里的y就是我们需要预测的结果，假设我们的模型预测结果是 $y_i$ ,则可以定义损失函数如下（我们希望整个损失函数最小）
$\frac{1}{n}\sum_{i=1}^n（y-y_i）^2$

梯度

定义
设函数 $z=f(x,y)$ 在平面区域 $D$ 内具有一阶连续偏导数，则对于每一点 $(x,y)\in D$ 都可定出一个向量：
$\frac{\partial f}{\partial x} + \frac{\partial f}{\partial x}$ 可以称为 $gradf(x,y)$
那么这向量称为函 $z=f(x,y)$ 在点 $P(x,y)$ 上的的梯度就是 $gradf(x,y)$
例如 $f(x) = x^2$ 这个函数在x = 2处的梯度

1WS1RU{I[%5PBTG)C{]J$6U.png
那么沿着这个梯度下降的方向走，可以快速的找到最小值（即验证梯度下降的方向），或者最大值（梯度上升的方向）

多项回归模型和多元回归模型

根据上面的线性回归模型 $y = wx + b$
当特征较为多的时候就拓展为多元回归模型，即关于x的一次多项式
$y = w0 x+ w1x^2 + w2x^3 + w3x^4 +......$
多元回归模型
$y = w0 x+w1y + w2z +......$
这样就可以拟合更复杂的模型，这些模型的形式大体上一直，他们的loss函数和简单的线性模型是一致的。

线性模型和梯度下降（概念简单理解）

一元线性回归

梯度

多项回归模型和多元回归模型

猜你喜欢

热点阅读