线性回归和最小二乘

关于线性回归一直都知道是那么回事，方差最小啥的。但是涉及到计算方法或者代码啥的，也是不太了解，最近就做了个全面的总结，数学公式比较麻烦，所以直接上祖传手稿

---

首先是因为我某天遇到个这样的问题，想知道最大似然估计和最小二乘的区别，下面的例子其实是来源知乎的一个答案，但有助理解，就写下来了

最小二乘和最大似然.JPG

---

这幅图是最小二乘的矩阵解法的公式推算，这种解法是最小二乘的逆矩阵解法，还有一种解法是梯度下降，在下面也罗列了大概的优缺点，这里和上面那个图有个地方的转换就是 图上右方的h(x) = Wx

线性回归模型.JPG

目前梯度下降的公式我还没自己推算一遍，所以先没放上来(百度一大推)

---

最后这个是一元线性回归下的计算y = ax+b

一元线性回归计算.JPG

这里github有我写的一个简单的代码，就是根据最后这个计算a和b的公式计算出来并且画图的