day6

正规方程（normal equation） 解回归问题

对于某些回归问题，用正规方程求解参数θ的最优值（误差函数的最小值）更好，比起用梯度下降法，需要多次迭代才可以获取最优解，用正规方程一步就可以获取最优解

特征.png 训练样本特征变量.png

m*(n+1)矩阵

向量y.png

m行

参数θ的最优值.png

使用了正规方程，是不需要进行特征归一化的
梯度下降的缺点是需要进行多次迭代，优点是在很多特征的情况下也能运行的相当好
正规方程不需要选择学习率a,不需要画出误差函数图形，更简单；缺点是需要进行计算，实现nnn来说计算量会很大，所以不适用于特征很多的情况（千位及千位以下，可以用正规方程，上万维的话，考虑使用梯度下降法）

不可逆性

当

矩阵相乘.png

不可逆时，可能原因是：
1.两个特征很相似
2.特征太多了（m行 <= n列）
这两种情况下，可以删除一些相似特征或者特征太多删除一些