超级简单LDA和GDA

2018-11-25 本文已影响0人徐振杰

LDA和PCA最大的区别是，PCA找的是方差最大的方向，LDA找的是分类分的最开的方向。也就是说mean要分得最开越好，自己的样本要越集中越好。

现在用

上式其实也等价于
$S_b^{LDA}= \sum_{i=1}^{L} \frac{N_i}{N}(m_i - m_0)(m_i - m_0)^T$

上面两种式子可以有两个不同的图来表示

当然也可以同样方法的来写出每个组内的的均值
$=v^T(\sum_{i=1}^{L}\sum_{j=i+1}^{N_i} \frac{N_i}{N} \frac{N_j}{N} (m_j^{(i)}-m_i)(m_j^{(i)}-m_i)^T)v=v_TS_w^{LDA}v$
我们希望组内的距离越小越好

所以我们就得到 $v = argmax \frac{v_TS_b^{LDA}v}{v_TS_w^{LDA}v}$
上面是组内的值，下面是组间的值
那么我们希望上面越大越好
下面越小越好
也就是找这个等式取最大值是的向量
我们先令 $v^TS_w^{LDA} = 1$

$f(v,\lambda) = v^TS_b^{LDA} v - \lambda(v^TS_w^{LDA}-1)$

同样的和PCA一个套路用拉格朗日解出求 $S_w^{LDA}$ 的最大特征值，得到

$S_b^{LDA}v = \lambda S_w^{LDA}v$
$v^TS_w^{LDA} = 1$

然后当$v^TS_w{LDA} != 1时，得到：

$S_b^{LDA}u = \lambda S_w^{LDA}u$
$\frac{1}{\sqrt{u^TS_w^{LDA}}} = v$

和KPCA相同，我们希望把它送到feature space上再做LDA，也就是GDA(Generalized Discriminat Analysis)

由

$S_b^{LDA}u = \lambda S_w^{LDA}u$

可以推导出

$(KBK) \alpha = \lambda (KK) \alpha$

v 可以写成training sample的线性组合 $X^T \alpha$
所以 $v^T \phi(x) = (X^T \alpha)^T \phi(x) = \alpha^T \begin{bmatrix} k(x_1,x) \\ k(x_2,x)\\.\\.\\.\\k(x_2,x)\end{bmatrix}$

总结一下，PCA只是将样本点投影到一个让方差最大的轴上，但是这时候后方差最大并不一定分的最开，所以就有了LDA，LDA是把样本投影到不同类样本距离最远，同类样本距离尽可能进的轴上。

超级简单LDA和GDA

猜你喜欢

热点阅读