4-1 多维特征

引入

住房问题是多特征问题，面积，房间数量，层数，房屋年龄共同决定房屋价格

一共有4个特征，n（表示特征数量）=4

预测房价 特征向量

所有的特征用一个特征矩阵来表示

函数表示

多特征线性回归函数

因为不止一个特征，所以函数也要成多特征线性回归函数，转化成两个向量的相乘

转化成两个向量相乘

4-2 多变量梯度下降

多特征的代价函数 特征值为1时

两者是等价的，因为x0=1

特征值大于1时

4-3 梯度下降法实践1-特征缩放

如果特征的取值相近的话，收敛速度会变快

例如：房价预测问题，房屋面积的取值是0~2000 feet；房间数量是0~5 间；则轮廓图画出来很椭圆收敛速度（切线方向）会很慢。

特征取值范围相差较大

通过放大或缩小取值范围使得收敛速度增加

特征值的取值范围放缩到0~1

放缩xi，将其范围变化到-0.5<x<0.5，是样本数据的平均值

放缩

4-4 梯度下降法实践2-学习率

迭代步数对代价函数的影响

不同问题选取的学习率区别可以很大

迭代步数-最小代价函数

4-5 特征和多项式回归

增加特征数来改变次数

4-6 标准公式

一步求解代价函数的最小值——将偏导数置为0

但是遍历求解出的值,和它们之间的关系，最终求解出所有的值过程比较复杂

example

example

这个公式，吴恩达并没有证明

可以求出的最优值

对比迭代梯度下降法和标准公式法

特征多，用梯度下降；特征少，用标准公式法（特征值10000为界限）

迭代梯度下降法

需要选择学习率（找到最好）

迭代很多次

特征很多时，计算复杂度偏小

标准公式法

不需要选择学习率

不需要迭代

特征很多时，矩阵相乘时间复杂度很大