基于视频：七月算法-深度学习课程-5月-第一课：机器学习中的数学

https://www.youtube.com/watch?v=T0WrSQixuxU&list=PLwTxjmW4U1YSsLZ5OKd67KxtoSdJKAFgE

一、微积分重点

1、梯度：多元函数的一阶导数，对各元分别求导。一元函数的时候就是一阶导数。

2、海森矩阵：多元函数的二阶导数。

3、二次型：XTAX ，形式对称，用矩阵的形式表示一个多项式。

比如：

二次型的重要特点：

4、泰勒级数

平衡点：即局部的极值点。

鞍点：这一点的一阶、二阶导数都等于0。

一阶导数等于0的点：有可能是：（1）极小值点（二阶导数大于0） （2）极大值点（二阶导数小于0）（3）鞍点（二阶导数等于0）———>其实可以通过画图来理解的。

（1）泰勒级数的展开（标量）：

极值点：一阶导数等于0

（2）泰勒级数的展开（矢量）：

极值点：梯度等于0。

此时，多元函数的二阶导数大于零表示海森矩阵的特征根都大于零。（正定：矩阵的特征值都大于0）

5、梯度下降法

求极值点时，求解一阶导数等于零的方程，通常比较难解。

向量的内积：aTb = ||a||2*||b||2*cos(theta)。theta为函数梯度方向，函数最快上升。theta为函数负梯度方向，函数最快下降。

优化的核心：方向（负梯度），步长。

牛顿法：考虑到二阶导数。

二、概率论重点

1、随机函数的表现形式：

（1）分布函数：离散变量

（2）累积分布函数：连续变量  对概率密度函数求积分

（3）概率密度函数：连续变量 对累积分布函数求导

2、高斯分布：

3、贝叶斯公式：（非常重要）

贝叶斯公式的小练习：方法：直接带入贝叶斯公式。（吸毒|呈阳性——>呈阳性|吸毒）

P（结果呈阳性）：后验概率

三、矩阵重点

1、特征值与特征向量：

2、对称矩阵的对角化：（机器学习中的样本的协方差都是对称矩阵）

对称矩阵的特征值一定是实数。

3、PCA特征分解：

（1）PCA的本质：就是协方差矩阵的相似对角化

（2）PCA的推导过程：

(3)PCA的举例：

四、凸优化重点

1、一般约束优化问题：

2、KKT条件：非常重要