矩阵的迹定义如下

矩阵的迹.png 定理１.png 乘积迹.jpg 定理２ 定理３.png
121374283.jpg
定理４.png
定理５６.png 定理７.png
迹方法.png 7.png

最小二乘法

最小二乘法１.png
最小二乘法２.png 377208968.jpg 624584112.jpg

最小二乘的概率解释

image
1.png 3.png image

最小即可。这就解释了线性回归为什么要选用最小二乘作为衡量指标了。

更多资料见

cs231vecDerivs
cs229线性代数矩阵论
cs229-Probability Theory
The Matrix Cookbook

矩阵求导术（上）
矩阵求导术（下）

道理我都懂，但是神经网络反向传播时的梯度到底怎么求？

参考文献

矩阵求导解最小二乘问题

最小二乘法小结

最小二乘法（一般形式和矩阵形式）

矩阵求导迹的求导技巧

机器学习中的矩阵/向量求导

最小二乘的概率解释