多变量梯度下降(Gradient Descent for Mul
2019-02-27 本文已影响4人
东京的雨不会淋湿首尔
与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：
image.png
image.png
image
image
image
image.png
image.png
其中：
image.png
image.png
，
其中：
image.png
我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为：
image
即：
image
求导数后得到：
image
image.png
我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。
代码示例：
计算代价函数
image.png
其中：
image.png
Python 代码：
def computeCost(X, y, theta):
inner = np.power(((X * theta.T) - y), 2)
return np.sum(inner) / (2 * len(X))
