Week1

2018-10-17 本文已影响0人 Jedore

监督学习 Supervised Learning
数据集有明确的答案，根据样本数据预测
分类问题
回归问题
无监督学习 Unsupervised Learning
数据集没有答案，自动分局特征分类
单变量线性回归 Linear Regression With One Variable
- 模型表示 $h_\theta(x)=\theta_0+\theta_1x$
  代价函数 $J(\theta_0,\theta_1)=\frac{1}{2m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})^2$
- 梯度 gradient
  梯度就是偏导数, 而斜率是梯度的一个特例
- 梯度下降 Gradient Descent
  对于一个可微分的函数，确定一组初始值，找到这组值对应的梯度，然后在梯度相反的方向对这组值进行减小，通过不断的寻找梯度并减小这组值，最后找到使函数值最小的组合值
- 批量梯度下降 Batch Gradient Descent
  在梯度下降的每一步中都使用了所有的样本，得到的是一个全局最优解，如果训练样本过大，那么迭代速度则会过慢
  $\theta_j:=\theta_j-\alpha\frac{\delta} {\delta\theta_j}J(\theta_0,\theta_1) \ (for j=0\ and\ j=1)$
- 随机梯度下降 Stochastic Gradient Descent
  在梯度下降的每一步中选取一个样本来求取梯度，并不是每一步都是全局最优解，但整体方向是全局最优的，最后可能会在全局最优解附近，由于只使用了部分样本，速度较快
  $\theta_j=\theta_j-\alpha\frac{\delta}{\delta\theta_j}(h_{\theta}(x^{(i)}) - y^{(i)})^2$
- 线性回归运用梯度下降
  $j=0, \frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1)=\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})$
  $j=1, \frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1)=\frac{1}{m}\sum^m_{i=1}(( h_\theta(x^{(i)})-y^{(i)})*x^{(i)})$
  改写为
  $\theta_0:=\theta_0-\alpha\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})$
  $\theta_1:=\theta_1-\alpha\frac{1}{m}\sum^m_{i=1}((h_\theta(x^{(i)})-y^{(i)})*x^{(i)})$
深入浅出-梯度下降法及其实现
Gradient
机器学习-随机梯度下降(Stochastic gradient descent)和批量梯度下降(Batch gradient descent)

Week1

猜你喜欢

热点阅读