吴恩达机器学习笔记（1）——单变量线性回归
上一个笔记，我们大概了解了什么是机器学习以及机器学习的两个重要的分类，本篇笔记将带领大家了解机器学习的第一个模型——线性回归
例题
为了让大家更加直观的理解这个模型，我们引入一个例题，我们有一组波特兰市的城市住房的价格数据，我们要通过这些数据来找出一个函数，来预测任意面积下的房价，这就是一个简单的线性回归问题。
这里给出的数据是一组房子面积对应的房价
数据集
其中m代表训练集，x是输入，y是输出。我们用（x,y）来代表一个训练集，(xi,yi）代表第i行训练数据，比如x^2=2104.
我们训练的目的就是让我们假设一个函数h,使这个函数拟合我们的数据集。
代价函数
我们首先假设函数h（x）= θ0 + θ1x，其中θ0，θ1是这个模型需要变化的参数，我们主要就是训练这两个参数，让函数能达到我们预期的输入输出效果。
那么如何直观的表现出这个函数的拟合度呢，也就是这个函数的正确度，我们这里就引入了代价函数的概念。
代价函数
代价函数就是我们函数的输出值和相对应的真实值的方差，我们归回的目的就让方差最小化。
梯度下降
既然我们的目的已经明确了，就是让代价函数最小化，我们怎么才能达到这个目的呢， 我们这里使用梯度下降的方法来达到这个目的，这个方法被广泛应用到机器学习领域之中。梯度下降原理很简单，就是不停的改变θ0，θ1的值，让代价函数得到最小值或者局部最小值。首先我们来看看梯度下降是如何工作的：
这是一个代价函数的图像，首先我们先初始赋值θ0，θ1，在上图的位置标注好了。然后从这个点出发，不断的找到下降的方向，一步一步的下降，直到走到无法继续下降位置。此时的θ0，θ1值就是代价函数的最小值或者是局部最小值。
梯度下降
那么怎么用数学公式来表达这个梯度下降的过程呢，其实很简单，只要用这个公式就行了：
梯度下降公式
这个就是传说中的梯度下降公式，其实原理很简单，就是让参数等于这个参数减去学习率乘于参数的偏导。但要注意的是两个参数的值要同时变化，这个
:=号是赋值的意思，不是等于号！！！。如何理解这个公式呢？我们可以选择删去一个参数，只用一个参数来梯度下降，来看一下这个公式的工作原理：
单参数梯度下降
首先假如我们初始赋值在图中位置，我们运用公式。这个偏导数就是这一点在函数中的斜率，我们用斜率来乘于学习率（待会我们再解释这个学习率），再用原θ1的值减去这个乘积，我们可以发现，其实就是向函数下降的方向走了一步，这个学习率就是我们走的一步的长度，学习率大，我们一步下降的就多，斜率大我们下降的也多，但是总的来看下降的步长还是看学习率，应为越是快到最小值，我们的斜率就越小，我们下降的就越慢，当到达最小值的时候，斜率就等于零，参数就停止移动了。我们可以看出图片上面给了当θ1大于或者小于最小值的情况下公式的运算情况，有兴趣的可以自己一步一步的计算试试看。
后记
通过我们得出的公式，你可以用完成一个完整的回归模型。接下来的笔记我会带大家学习，多个x输入情况下的回归建立。
