[线性回归] 梯度下降和正规方程法
2017-01-01 本文已影响261人
JaiUnChat
批梯度下降法(Gradient Descent)
正规方程法(Normal Equation)
| 批梯度下降 | 正规方程 | |
|---|---|---|
| 学习速率 | 需要设置 | 不需要 |
| 计算次数 | 需要多次迭代 | 不需要迭代 |
| 时间复杂度 | O (kn2) | O (n3) 需要计算 XTX |
| 特征数量 | 即使n很大也能工作 | 如果n很大会很慢 |
总结：
- 如果特征值小于10k，或者100k，正规方程会是一个非常简便高效的方法。
否则，正规方程的计算时间将会变的非常巨大，还是使用批梯度下降法比较好。 - 正规方程支持的算法不是很多，批梯度下降法几乎支持主流的方法。
所以，出于学习目的，两个方法都是值得的。
