2020机器学习GAN(WGAN) (9)

2020-08-02 本文已影响0人 zidea

naruto_vs_sasuke.png

我们之前都用 JS 散度来衡量两笔数据之间差异，今天我们就来先讨论一下 JS 散度作为衡量工具是否合适的问题。
我们先给出结论就是 JS 散度是作为衡量工具是存在一些问题的。那么为什么会这样呢，先看其根源，根源就是 $P_G$ (生成数据)和 $P_data$ (真实数据)是没有重叠原因。

图片通常认为是高维空间的低纬的流形(manifold),因为在高维空间中两个低纬流形间重叠部分是几乎是可以忽略，也就验证了 $P_G$ (生成数据)和 $P_data$ (真实数据)之间是没有重叠的
我们再从对样本抽样来解释他们之间没有重叠这件事.

图

屏幕快照 2020-03-08 上午8.25.11.png

图

如果力量比较大

earthmover.jpg

Wasserstein GAN(WGAN)

假设有两个分布，分别为 $P$ 和 $Q$ 他们之间有一定距离。
我们将两个分布向量为两堆土，那么用一个推土机将一堆土从一边移动到，所用平均距离就是他们之间差异。
$W(P,Q) = d$

屏幕快照 2020-03-08 上午8.25.36.png

有很多种方法实现将

图

我们可以穷举出所有方案，平均要走距离，距离最小就是 Wasserstein 距离

屏幕快照 2020-03-08 上午8.28.50.png

$B(\gamma) = \sum_{x_p,x_q} \gamma(x_p,x_q)||x_p - x_q||$

$\gamma(x_p,x_q)$
$||x_p - x_q||$

$W(P,Q) = \min_{\gamma} B(\gamma)$

屏幕快照 2020-03-08 上午8.36.30.png

图

图

屏幕快照 2020-03-08 上午9.00.03.png

上一篇下一篇

猜你喜欢

热点阅读