相同点

在GD和SGD中，都会在每次迭代中更新模型的参数，使得代价函数变小。

不同点

GD

在GD中，每次迭代都要用到全部训练数据。
假设线性模型

Paste_Image.png

θ是参数

代价函数 ：

Paste_Image.png

那么每次GD的更新算法为：

Paste_Image.png

由此算法可知，在对代价函数求偏导时，是需要用到全部的训练数据的。

SGD

在SGD中，每次迭代可以只用一个训练数据来更新参数。
回到GD的更新算法，假设此时我们此时训练数据就只有一条(x,y)，

Paste_Image.png

所以此时的更新参数的算法变为：

Paste_Image.png

此时更新的算法，只用到了一个样本。
其实具象的理解下，就是来了一条训练数据，算下此时根据模型算出的值和实际值的差距，如果差距大，那么参数更新的幅度大，反之则小。

总结

当训练数据过大时，用GD可能造成内存不够用，那么就可以用SGD了，SGD其实可以算作是一种online-learning。另外SGD收敛会比GD快，但是对于代价函数求最小值还是GD做的比较好，不过SGD也够用了。