矩阵微积分

2021-11-15 本文已影响0人扎哈_

学习矩阵微积分，同时加强记忆同时方便查阅，故写本文章。
详细内容参考：矩阵微积分-维基百科

向量求导

向量对标量求导：

定义：
$\vec y_{(n*1)} = \begin {bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end {bmatrix}$
$\vec y$ 对 $x$ 求导：
$\frac { d\vec y}{dx}=\begin {bmatrix} \frac {dy_1}{dx} \\ \frac {dy_2}{dx} \\ \vdots \\ \frac {dy_n}{dx} \end {bmatrix}$

标量对向量求导：

定义：
$\vec x_{(n*1)} = \begin {bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end {bmatrix}$
$y$ 对 $\vec x$ 求导:
(与向量对标量不同的是，它是按 $\vec x^T$ 排列的)
$\frac {dy}{d\vec x}=\begin {bmatrix} \frac {dy}{dx_1} & \frac {dy}{dx_2}& \dots & \frac {dy}{dx_n} \end {bmatrix}$

向量对向量求导

定义:
$\vec y_{(m*1)} = \begin {bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end {bmatrix} \vec x_{(n*1)} = \begin {bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$
$\vec y$ 对 $\vec x$ 求导:
$\frac {d\vec y}{d\vec x} = \begin {bmatrix} \frac {dy_1}{dx_1} & \frac {dy_1}{dx_2} & \dots & \frac {dy_1}{dx_n} \\ \frac {dy_2}{dx_1} & \frac {dy_2}{dx_2} & \dots & \frac {dy_2}{dx_n} \\ \vdots& \vdots & \ddots & \vdots \\ \frac {dy_m}{dx_1} & \frac {dy_m}{dx_2} & \dots & \frac {dy_m}{dx_n} \end {bmatrix}$

矩阵求导

矩阵对标量求导：

定义：
$Y_{(m*n) }= \begin {bmatrix} y_{11} & y_{12} & \dots & y_{1n} \\ y_{21} & y_{22} & \dots & y_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ y_{m1} & y_{m2} & \dots & y_{mn} \end {bmatrix}$
$Y$ 对 $x$ 求导：
$\frac {dY}{dx}= \begin {bmatrix} \frac {dy_{11}}{dx} & \frac {dy_{12}}{dx} & \dots & \frac {dy_{1n}}{dx} \\ \frac {dy_{21}}{dx} & \frac {dy_{22}}{dx} & \dots & \frac {dy_{2n}}{dx} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {dy_{m1}}{dx} & \frac {dy_{m2}}{dx} & \dots & \frac {dy_{mn}}{dx} \end {bmatrix}$

标量对矩阵求导：

定义：
$X_{(m*n)}= \begin {bmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \dots & x_{mn } \end {bmatrix}$
$y$ 对 $X$ 求导：
(与矩阵对标量求导不同的是，分子是按 $X^T$ 排列的,所得矩阵为n*m矩阵)
$\frac {dy}{dX}= \begin {bmatrix} \frac {dy}{dx_{11}} & \frac {dy}{dx_{21}} & \dots & \frac {dy}{dx_{m1}} \\ \frac {dy}{dx_{12}} & \frac {dy}{dx_{22}} & \dots & \frac {dy}{dx_{m2}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {dy}{dx_{1n}} & \frac {dy}{dx_{2n}} & \dots & \frac {dy}{dx_{mn}} \end {bmatrix}$