EZ | 生成对抗性网络 | 03

    5.实验

我们在 MNIST、the Toronto Face Database、CIFAR-10数据集上对我们的对抗性网络进行了实验，生成网络使用了线性激活和型激活的混合体，使用方法对判别网络进行训练。虽然我们的框架在理论上允许使在中间层使用一些特定的噪声，但我们使用随机噪声作为最底层的输入。

我们将Gaussian Parzen Window拟合到使用生成到样本上，并在该分布下使用对数似然估计来测试数据集在时到概率。高斯里这个参数是通过验证集上做交叉验证得到的。这个程序在Breuleux等人的研究中被提到并被应用在很多生成模型中，它被证明很有可能不太好处理。在Tab.1中，有一份结果报告，这种估计法的方差比较高，在高纬空间中的表现更差，但却是我们能找到的最好的办法了。采样，但不对可能性做估计，这就启发里模型的进一步研究。

Tab.1
Tab.1 基于窗口的Parzen对数似然估计。在MNIST数据集上标记的数字是测试集上样本的平均对数似然估计，在实例中计算了平均值的标准差。在TFD上，我们计算了数据集叠层的标准差，在每个叠层的验证集上都选择不同的并计算每个叠层的平均对数似然。而对于MNIST，我们将它和其他数据集的值进行了比较。

在Fig.2和Fig.3中，我们展示了经过训练后从生成器网络抽取的一些样本，虽然这些样本也不比现在生成的样本效果好，但这些样本已经能够很好地与现在的生成模型做比较并吐出来与我们的框架相抗衡的能力。

Fig.2

Fig.2模型中的可视化样本。最右边的一列展示了最近相邻样本的训练例子以证明模型并没有对训练集带有记忆力。样本是随机选的，没有专门挑。和深度生成模型的大部分其他的可视化样本不同，这些图像展示了来自模型分布的实际样本而非给定的一些隐藏单元的均值。而且做，这些样本没有相关性，因为取样过程没用马尔可夫链混合法。在a)b)c)d)中分别展示了MNIST、TFD、CIFAR-10的全连接模式和CIFAR-10上的卷积判别器和反卷积生成器。

Fig.3 Fig.3通过在完整模型的空间上的坐标间做线性插值得到的手写数字。 Tab.2

Tab.2生成器建模的一些问题：对于涉及到模型的每个主要操作的深度生成建模，总结了一下使用各种方法所遇到的问题。

    6.优势和不足

和之前的建模框架相比，这个新的框架具有很多优点和缺点，缺点主要在于没有的明确表达式，并且在训练期间必须和做很好的同步(尤其是在不更新的情况下，不得不多做一些训练以避免the Helvetica scenario现象)。优点之一是不需要马尔可夫链，只用BackProp就能得到梯度值，再学习期间也不需要进行推理，而且可以在模型中增加多种功能。Tab.2总结了一下生成性对抗网络和其他建模方法的比较情况。

以上的优点主要在计算方面，对抗性模型从生成网络中也可以得到一些统计学的优势而非用数据示例进行直接更新，这就意味着输入的部分不会直接复制到生成器的参数中，对抗性网络的另一个优点是非常明确，甚至有些时候是简并态的，而基于马尔可夫的一些方法往往要求分布上略显模糊以便能够在模式之间做混合操作。

    6.结论和展望

我们的框架可以做以下的拓展：

1.可以在和中都增加一个输入，实现有条件的生成模型
2.可以通过训练一个辅助网络来对给定后的进行学习并作近似推断，这就类似于用wake-sleep algorithm算法训练出来的推理网络，但是具有如下优点：在生成器训练完成后，推断网络训练也就完成了。
3.可以通过训练一个共享参数近似地模拟所有的条件概率这里的是的索引的子集，从本质上说，我们可以使用对抗网络来实现对确定性的 MP-DBM的随机性拓展。
4.拓展称为半监督学习：如果手头上的有标记数据的量很有限，来自判别器或者推理网的特征可以提高分类器的分类性能。
5.效率的提升：通过在训练期间更好分配样本，可以提高学习速度。

本文证明了对抗性模型框架的可行性，揭示了这些研究方向潜在的价值。