机器学习问题及分析笔记

最小平方差代价函数

代价函数简化图
最小平方差代价函数

梯度下降步骤

梯度下降步骤图 梯度下降模型图 梯度下降公式图

梯度下降解决了什么问题？
答：梯度下降解决代价函数某一点上最小化问题，将代价函数收敛，得到最优值，梯度下降是局部最优解。由于我们的代价函数是一个凸函数，全局只有一个最优解也就是最小值，所以总会收敛到全局最优解。

什么是线性回归算法？

最小平方差代价函数+梯度下降公式（单变量线性回归） 对偏导数进行求导（涉及 微积分知识） 化简的线性回归公式

答：最小化平方差代价函数 + 梯度下降 = 线性回归算法

什么是正规式？
答：正规式，线性回归算法中对特征量较少的梯度下降算法的替换方案。

近期持续更新中。。。。