SVM 中的核函数随笔

2020-09-25 本文已影响0人 zidea

SVM 中的核函数

找到一个曲面，开拓方法可能性，有一个合理化解决途径。其他方法想法是去找不是直线的线，然后，vapnik 是对于这样问题，还是找直线去解决这个问题，只不过去一个高维空间找一个分割面来去

$X \,map \,to\, \phi(X)$
$D = \{(0,0),(0,1),(1,0),(1,1)\}$

$\phi(a,b) = (a,b,a^2,b^2,ab)$

$\begin{aligned} X_1 = (0,0,0,0,0)\\ X_2 = (0,1,0,1,0)\\ X_3 = (1,0,1,0,0)\\ X_4 = (1,1,1,1,1)\\ \end{aligned}$

$para = (-1,-1,-1,-1,6)$
$\begin{aligned} W^T\phi(X_1) + b =1 \end{aligned}$

最小化 $\frac{1}{2}||W||^2 + C\sum_{i=1}^N \epsilon_i$ 其中 $\epsilon_i$ 是松弛变量
限制条件
$\begin{cases} y^{i}(W^T \phi(x^i) + b) \ge 1 - \epsilon_i\\ \epsilon_i \ge 0 \end{cases}$

W 是与 X 保持相同维度，
把一些点放到特征空间里面去，随机对这些点进行标注分类，这些点维度越高空间越容易被分开。那图片分类为例

现在我们来看如何选择 $\phi(X)$ ，可以是无限维也可以是无限维，但是无限维效果要好，但是 W 维度需要与 X 维度一致，所以这样问题就无法解决了。

可以不知道无限维映射 $\phi(X)$ 的显式表达，只要知道一个核函数(kernel function)

$K(X_1,X_2) = \phi(X_1)^T\phi(X_2)$

这里优化式子仍然可解
$\phi(X_1)$ 与 $\phi(X_2)$ 无限维度向量的内积

常用核函数

$K(X_1,X_2) = e^{-\frac{||X_1 - X_2||^2}{2 \sigma^2}} = \phi(X_1)^T\phi(X_2)$
$K(X_1,X_2) = (X_1^TX_2 + 1)^d$ 其中 d 是多项式的阶数，这里核函数是有限，d 维度是有限核函数是有限的

优化理论

-《Convex optimization》

原问题(Prime Problem)

最小化 $f(w)$
限制条件
- $g_i(w)\le 0 (i=1-K)$
- $h_i(w) = 0 (i=1-M)$

对偶问题(Dual Problem)

定义
$\begin{aligned} L(w,\alpha,\beta) = f(w) + \sum_{i}^K \alpha_i g_i(w) + \sum_{i=1}^M \beta_i h_i(w)\\ =f(w) + \alpha^Tg(w) + \beta^Th(w) \end{aligned}$

$\begin{aligned} g(w) = \begin{bmatrix} g_1(w) & g_2(w) & \cdots & g_k(w) \end{bmatrix}^T\\ h(w) = \begin{bmatrix} h_1(w) & h_2(w) & \cdots & h_m(w) \end{bmatrix}^T \end{aligned}$

对偶问题定义

最大化 $f(\alpha,\beta) = \inf[L(w,\alpha,\beta)]$
限制条件 $\alpha_i \ge 0 (i=1-K)$

在限制 $\alpha,\beta$ ,然后遍历所有 w 来求最小值，

原问题与对偶问题

定理：如果

上一篇下一篇

猜你喜欢

热点阅读