[ML]《ML导论》五：核方法

20180926 qzd

---

一、思维导图

核函数.png

二、知识碎片

1、简单核函数
1）线性核
k(x,x')=xx'+c，线性核对应等值映射，不能提高表示性，但在很多实际问题中可取得较好的效果。注意核方法不仅包括特征映射，同时包括非参数建模，因此即使是线性核在很多实用场景中也好于传统参数方法。同时，线性核可以用来验证算法的正确性。

2）多项式核
k(x,x')=( αx•x'+c)d α>0,c≤0,d∈Z+，
多项式核的一个缺点是当阶数d比较大时，在取值时容易出现数值上的不稳定，可能出现过大或过小值。

3）高斯核
k(x,x')=exp(-α||x-x'||^2)，其中α是控制核函数宽度的参数。高斯核对应无限维特征空间。高斯核是距离的函数，具有位置不变性。这一形式与径向基（RBF）一致，因此高斯核也常称为RBF核。
指数核：k(x,x')=exp(-α||x-x'||1)，与高斯核相比，指数核具有更明显的长尾效应，可用于描述较大范围内的相关性。

上述核函数计算数据样本点之间的距离，不具有概率意义，对噪声比较敏感。一种可能的处理方法是设计一个概率生成模型p(x)

4）概率核
k(x,x')=p(x)p(x')，上述定义意味着当两个输入x和x’都具有较大的概率时，则两者是相似的。

• 对上述核函数可进行扩展，用混合分布描述更复杂的相似性。

其中，zi是隐变量

其中，z是连续隐变量

• Fisher核

2、半正定矩阵
半正定矩阵是正定矩阵的推广。实对称矩阵A称为半正定的，如果二次型X'AX半正定，即对于任意不为0的实列向量X，都有X'AX≥0。

3、对偶表达
对偶表达是将参数模型转换成非参数模型的重要步骤，是核方法的基础。

4、Gram矩阵

5、再生希尔伯特空间