1.1一元线性回归模型

2019-08-03 本文已影响0人 Yuanshuo

The core values of Chinese socialism

模型与代价函数(Moudel and Cost Function)

模型

符号

符号表示
监督学习算法工作方式
- 将训练集喂给学习算法
- 输出函数h(hypothesis)
- 输入x => y

直观图

线性回归模型(Linear Regression)：

$h_{θ}(x) = θ_0 + θ_1 * x$

数据集和函数的作用用来预测。

代价函数(Cost Function)

$h_{θ}(x) = θ_0 + θ_1 * x$
若 $θ_{0}=1.5$ , $θ_{1}=0$ ， $h(x) = 1.5 + 0 * x$ ，那么h函数看起来：

1.5+0x

如果 $θ_{0}=0$ , $θ_{1}=0.5$ ， $h(x) = 0 + 0.5 * x$ ，那么假设看起来像：

0.5x

线性回归中，有一个训练集，如图，目的得出 $θ_0$ 、 $θ_1$ 这两个参数的值，来让假设函数表示的直线尽量地与数据点很好的拟合。

image
在线性回归中要解决的是最小化问题，定义代价函数：

要做的就是关于、对函数求最小值，代价函数是解决回归问题最常用的手段。

代价函数实例一

假设(Hypothesis)：
$h_{θ}(x) = θ_0 + θ_1 * x$
参数(Parameters)：
$θ_0 { , } θ_1$
代价函数(Cost Function)：
$J(θ_{0},θ_{1}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}$
目标(Goal)：
$\mathop{minimze}\limits_{θ_{0}θ_{1}} J(θ_{0},θ_{1})$

简化的假设(Hypothesis)：
$h_{θ}(x) = θ_1 * x$
简化的参数(Parameters)：
$θ_1$
简化的代价函数(Cost Function)：
$J(θ_{1}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}$
简化的目标(Goal)：
$\mathop{minimze}\limits_{θ_{1}} J(θ_{1})$

$h_{θ}(x)$ 假设函数	$J(θ_{1})$ 代价函数

假设函数 $h_{θ}(x)$ 对于一个固定的 $θ_1$ 是一个关于x的函数。
代价函数 $J(θ_{1})$ 是一个关于参数 $θ_1$ 的函数，参数 $θ_1$ 控制着 $h_{θ}(x)$ 的斜率。
如上图，训练集(1,1)、(2,2)、(3,3)， $h_{θ}(x) = θ_1 * x$ 故 $θ_1$ = 1。
代价函数定义如下：
$\begin{align*} J(θ_{1}) &= \frac{1}{2m} \sum_{i=1}^{m} (h_{θ}(x^{(i)}) - y^{(i)})^{2}\\ &= \frac{1}{2m} \sum_{i=1}^{m} (θ_1x^{(i)} - y^{(i)})^{2}\\ &= \frac{1}{2m} (0^2 + 0^2 + 0^2)\\ &= 0 \end{align*}$
若 $θ_1$ = 0.5