Coursera机器学习笔记1

Week 1

监督学习

监督学习：我们已知一个数据集，且知道了正确的输出应该是什么形式，输入和输出之间具有某种联系。两种类型的监督学习问题：回归和分类。

非监督学习

非监督学习：对于结果应该是什么的情况了解很少或没有了解。例子：聚类问题；分辨混乱的聚会录音问题。

线性回归&梯度下降算法

线性回归问题：

image1.png

梯度下降：

image2.png
梯度可以看做是导数，我们想要求目标函数的最小值，转化成求导数最小的点。梯度下降算法从参数的初始值开始，寻找在它附近导数下降最快的方向

Week 2

多元线性回归

多元情况下，我们的假设变成了用多个变量预测y

image3.png

梯度下降实践1-Feature Scaling

当我们在使用梯度下降算法时，可能会遇到下面的问题：
两个变量的量级相差较大，需要很多步才能收敛。如下左图所示。

image4.png

解决方法：
1.（feature scaling）把x除以x的范围，即最大最小值之差

2.（mean normalization） image5.png
上式中si为range（最大最小之差）或者标准差

梯度下降实践2-Learning Rate

怎样选择image2里的learning rate:α?
当梯度下降算法运用正确时，曲线下降：

image6.png

曲线出现其他形状，说明对应的α选择有问题：

image7.png

多项式回归

Normal Equation

我们想要求解image1的问题，不只有梯度下降算法，还可以直接求normal equation：

image8.png

两种方法的区别：

image9.png