矩阵求导

多元函数导数

基本概念：

一阶导：梯度向量的概念

二阶导：Hessian矩阵 Hf

如果光滑性好，可以交换偏导的顺序

最速下降方向：

方向导数

最小二乘法：