Quadratic form

2021-02-03 本文已影响0人 shudaxu

二次形：

$f(x)=x^TMx$

矩阵特征值：

对于 $n$ 阶方阵
$A\vec{v}=\lambda\vec{v}$ ： $\lambda$ 为特征值， $\vec{v}$ 为特征向量
另一种写法： $|\lambda E - A|=0$ 的根，为矩阵的特征根（特征值）eg: $\lambda_0$
定理1:矩阵特征值的个数等于矩阵的秩
定理2: $|A|=\prod_{i}^n \lambda_i$ （ $\lambda_i$ 为n个特征值，包含重根）

黑塞矩阵：

设 $f:R^n \rightarrow R$ 为输入n阶向量，输出scalar的函数。
Hesse Matrix： $Hf$ ，为函数二阶导数的矩阵。
矩阵的每个元素： $(Hf)_{ij}=\frac{\partial ^2 f}{\partial x_i \partial x_j}$
常用于优化问题中，因为 $Hf$ 为泰勒展开式二阶项的系数。[3]
对任意函数 $f(x)$ ，如果黑塞矩阵正定【 $det(Hf)>0$ 】则：1、函数的二阶偏导>0，2、函数为凸函数。则函数根可以用牛顿法求解[4]

奇异值分解：

$M$ 为 $n\times m$ 的矩阵
则 $M=U\Sigma A$
$\Sigma$ 为对角矩阵
$U$ , $A$ 为 $n \times n$ 与 $m \times m$ 的酉矩阵： $AA^*=UU^*=I$

Refer：
[1]:https://blog.csdn.net/qq_36558948/article/details/79337558
[2]:positive define：https://zhuanlan.zhihu.com/p/44860862
[3]:任意函数，能由其在 $\vec a$ 点的n阶导数展开逼近，即： $f(x)=f(a) + \frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2...$
[5]: 黑塞矩阵正定，则可以使用牛顿法求解：https://www.zhihu.com/question/303556814
用黑塞矩阵来表达二阶的泰勒展开就是：【在 $x_0$ 处展开， $H$ 为 $f(x)$ 的二阶导数矩阵（hesse matrix）】
$f(x) \approx f(x_0) +f'(x_0)(x-x_0)+\frac 1 2 (x - x_0)^T H (x - x_0)$
我们对 $f(x)$ 二阶展开求导数，得到其梯度为：（注这里是对泰勒展开求对x的导数）
$f'(x)=f'(x_0)+H(x-x_0)$
令其导数 $f'(x)=0$ ，即可求得下一个驻点：
$x=-H^{-1}f'(x_0)+x_0$
因此牛顿法就是：不断地更新驻点，再迭代。
当然，如果原函数过于复杂，导致Hesse matrix计算难度过大，可能就需要用拟牛顿法。
[4]:关于牛顿法的优化的推广：DFP，BFGS，L-BFGS
[5]:matrix rank 的性质：r(A)
(1)转置后秩不变
(2)r(A)<=min(m,n),A是mn型矩阵
(3)r(kA)=r(A),k不等于0
(4)r(A)=0 <=> A=0
(5)r(A+B)<=r(A)+r(B)
(6)r(AB)<=min(r(A),r(B))
(7)r(A)+r(B)-n<=r(AB)
[6]:Determinate：det(A),|A|
矩阵行列式计算方式：对矩阵进行线性变换，依次将下三角消为0，然后对角元素相乘。
[7]:多元函数存在极值的必要条件与充要条件
[8]:cofactor matrix
[9]:矩阵可逆的充要条件：det(A)不等于0【非奇异，满秩】
[10]:正交矩阵，A的转置等于A的逆： $AA^{-1}=I$ 且 $AA^T=I$ 则 $A^T=A^{-1}$
[11]:对称矩阵的相似对角化：对于对称矩阵，总是存在正交矩阵P使得 $P^{-1}AP=C$ ，所以给定任意二次型A，总存在正交变换 $x=Py$ 使得f变成标准型，其系数为A的特征值。
[12]:

Quadratic form

二次形：

矩阵特征值：

黑塞矩阵：

奇异值分解：

猜你喜欢

热点阅读