大学生活机器学习与数据挖掘程序员

吴恩达机器学习笔记(1)——单变量线性回归

2018-06-10  本文已影响29人  机智的神棍酱

上一个笔记,我们大概了解了什么是机器学习以及机器学习的两个重要的分类,本篇笔记将带领大家了解机器学习的第一个模型——线性回归

例题

为了让大家更加直观的理解这个模型,我们引入一个例题,我们有一组波特兰市的城市住房的价格数据,我们要通过这些数据来找出一个函数,来预测任意面积下的房价,这就是一个简单的线性回归问题。


这里给出的数据是一组房子面积对应的房价

数据集
其中m代表训练集,x是输入,y是输出。我们用(x,y)来代表一个训练集,(xi,yi)代表第i行训练数据,比如x^2=2104.

我们训练的目的就是让我们假设一个函数h,使这个函数拟合我们的数据集。

代价函数

我们首先假设函数h(x)= θ0 + θ1x,其中θ0,θ1是这个模型需要变化的参数,我们主要就是训练这两个参数,让函数能达到我们预期的输入输出效果。



那么如何直观的表现出这个函数的拟合度呢,也就是这个函数的正确度,我们这里就引入了代价函数的概念。


代价函数
代价函数就是我们函数的输出值和相对应的真实值的方差,我们归回的目的就让方差最小化。

梯度下降

既然我们的目的已经明确了,就是让代价函数最小化,我们怎么才能达到这个目的呢, 我们这里使用梯度下降的方法来达到这个目的,这个方法被广泛应用到机器学习领域之中。梯度下降原理很简单,就是不停的改变θ0,θ1的值,让代价函数得到最小值或者局部最小值。首先我们来看看梯度下降是如何工作的:


这是一个代价函数的图像,首先我们先初始赋值θ0,θ1,在上图的位置标注好了。然后从这个点出发,不断的找到下降的方向,一步一步的下降,直到走到无法继续下降位置。此时的θ0,θ1值就是代价函数的最小值或者是局部最小值。

梯度下降

那么怎么用数学公式来表达这个梯度下降的过程呢,其实很简单,只要用这个公式就行了:

梯度下降公式
这个就是传说中的梯度下降公式,其实原理很简单,就是让参数等于这个参数减去学习率乘于参数的偏导。但要注意的是两个参数的值要同时变化,这个:=号是赋值的意思,不是等于号!!!。如何理解这个公式呢?我们可以选择删去一个参数,只用一个参数来梯度下降,来看一下这个公式的工作原理: 单参数梯度下降

首先假如我们初始赋值在图中位置,我们运用公式。这个偏导数就是这一点在函数中的斜率,我们用斜率来乘于学习率(待会我们再解释这个学习率),再用原θ1的值减去这个乘积,我们可以发现,其实就是向函数下降的方向走了一步,这个学习率就是我们走的一步的长度,学习率大,我们一步下降的就多,斜率大我们下降的也多,但是总的来看下降的步长还是看学习率,应为越是快到最小值,我们的斜率就越小,我们下降的就越慢,当到达最小值的时候,斜率就等于零,参数就停止移动了。我们可以看出图片上面给了当θ1大于或者小于最小值的情况下公式的运算情况,有兴趣的可以自己一步一步的计算试试看。

后记

通过我们得出的公式,你可以用完成一个完整的回归模型。接下来的笔记我会带大家学习,多个x输入情况下的回归建立。

上一篇下一篇

猜你喜欢

热点阅读