核函数——长大后我就成了你

2019-08-01  本文已影响0人  To_QT
女神镇楼-图片来源于百度

1. 核函数的直观理解

这个知乎回答的前两条已经讲明白了什么是核函数，并且也给出了具体的栗子，这里就不废话了。
北京四合院的例子其实是一个完整的核技巧应用的栗子。分为以下两步：

来源——《机器学习有很多关于核函数的说法，核函数的定义和作用是什么？》

目的是要把图1中的红色门与紫色字体分开，很明显，一条直线无法做到，因此使用变换，提升了一个维度之后，变成了图2的样子，这个时候用绿色的平面在新的空间中就能轻易做到了。

书上的一个栗子

2. 常用的核函数：

常用的核函数

2.1 Radial basis function（RBF）的映射函数：

首先回顾一下泰勒级数：

泰勒级数

而函数e^x的泰勒展开式为e^x=\sum_{n=0}^{\infty}\frac{x^n}{n!}，所以，RBF的展开式为：
\begin{align} K(v_1, v_2) =& e^{-\gamma||v_1-v_2||^2} \\ =&e^{-\gamma(v_1^2-2v_1v_2+v_2^2)} \\ =&e^{-\gamma v_1^2}e^{-\gamma v_2^2} e^{\gamma(2v_1v_2)}\\ =&e^{-\gamma v_1^2}e^{-\gamma v_2^2}(1+\sqrt{\frac{2\gamma}{1!}}v_1 \sqrt{\frac{2\gamma}{1!}}v_2+\sqrt{\frac{2\gamma^2}{2!}}v_1^2 \sqrt{\frac{2\gamma^2}{2!}}v_2^2+...+\sqrt{\frac{2\gamma^n}{n!}}v_1^n \sqrt{\frac{2\gamma^n}{n!}}v_2^n)\\ =&e^{-\gamma v_1^2} \begin{bmatrix} 1 & \sqrt{\frac{2\gamma}{1!}}v_1& ... \end{bmatrix} e^{-\gamma v_2^2} \begin{bmatrix} 1\\ \sqrt{\frac{2\gamma}{1!}}v_2 \\ ...\\ \end{bmatrix} \end{align}
所以映射函数
\begin{align} \phi(x) = e^{-\gamma x^2} \begin{bmatrix} 1 & \sqrt{\frac{2\gamma}{1!}}x_1& ... \end{bmatrix}^T \end{align}

RBF转换到更高维度的空间是看你泰勒级数要展到几阶层，假设你特征是2维，你想在3维空间看RBF转换，泰勒级数就展开到0~2阶。

3. 参考资料

统计学习方法
机器学习有很多关于核函数的说法，核函数的定义和作用是什么？

上一篇下一篇

猜你喜欢

热点阅读