最小二乘法的矩阵形式推导

2019-05-14 本文已影响0人若罗

预测公式如下，Ｘ为`$m*n$`特征矩阵，ｗ为权重，

$Predict = Xw$

误差为

$Error = \|Xw - y\|$

我们的目标是求最小化的误差

$MinError = \min_{{w}\in{R^n}}\|Xw - y\|= (Xw-y)^T*(Xw-y)=w^TX^TXw -y^TXw-w^TX^Ty+y^Ty$

在矩阵论中，有一些向量对向量求导的公式

${\partial{x^Ta}\over{\partial{x}}}={\partial{a^Tx}\over{\partial{x}}}={a}\frac{\partial{x^TAx}}{\partial{x}}=Ax+A^Tx$

如果A是对称矩阵

$Ax+A^Tx=2Ax$

利用上述两个公式，将误差求导，导数为0即为极值点

${\partial{MinError}\over{\partial{w}}}=2X^TXw-2X^Ty=0$

化简

$w = (X^TX)^{-1}X^Ty$