ml-简化的成本函数和梯度下降
2019-11-24 本文已影响0人
天凉玩个锤子
目标：
- 更简化的方法得到代价函数
- 运用梯度下降法拟合出逻辑回归的参数。
逻辑回归的代价函数
化简合并之后：
明确目标：
代价函数为：
求出参数使得:
如果有n个特征，那么
最小化代价函数的方法：
使用梯度下降法(gradient descent)
反复更新每个参数
注意：
- 同步更新
- 虽然逻辑回归和线性回归梯度下降的更新参数的规则基本相同，公式也几乎一致，但是二者的
不同，因而逻辑函数的梯度下降和线性回归的梯度下降完全不同。
- 特征缩放的方法同样适用于逻辑回归，可以提高梯度下降的收敛速度。
- 具体代码实现时，推荐使用向量化方法和库函数。
- 需要手动设置学习率
，因此需要一些测试是否收敛的方法，例如将代价函数的变化值与某个阈值(e.g. 0.001)进行比较；还可以绘制图表，根据图表来判断梯度下降是否收敛(大规模训练集时并不现实)。
