Capsule GAN Using Capsule Networ

论文：Capsule GAN Using Capsule Network for Generator Architecture-2020.3新论文
-胶囊网络和GAN各个位置的探讨

Abstract

本文提出了一种基于胶囊网络的生成对抗网络，它不仅在鉴别器中使用，而且在生成器中也使用。最近，生成对抗网络(GANs)被深入研究。然而，用GANs生成图像是困难的。因此，GANs有时生成的图像质量很差。这些GANs使用卷积神经网络(CNNs)。但是，CNN存在图像特征之间的关系信息丢失的缺陷。Hinton在2017年提出的胶囊网络，克服了CNNs的缺陷。CapsuleGAN在鉴别器中使用胶囊网络，但是在生成器中仍使用了CNNs。
本文介绍了两种在生成器中使用胶囊网络的方法。

• 一种是将判别器的DigitCaps层作为生成器的输入。DigitCaps层是Capsule Network的输出层。它具有鉴别器输入图像的特征。
• 另一种是在生成器中使用Capsule Network中识别过程的反向操作。

我们将本文提出的Capsule GAN与使用CNN的传统GAN和只在判别器中使用Capsule Network的Capsule GAN进行比较。数据集是MNIST、Fashi-MNIST和彩色图像。我们表明，Capsule GAN的表现优于使用CNN的GAN和仅在鉴别器中使用Capsule Network的GAN。本文提出的Capsule GAN的架构是使用Capsule Network的基本架构。因此，我们可以将现有的GAN的改进技术应用到Capsule GAN中。

INTRODUCTION

最近，利用卷积神经网络（CNNs）进行图像处理的研究非常深入。生成人工图像的生成对抗网络（GANs）就是其中之一。有很多使用CNN的GAN，如深度卷积GAN（DCGAN）。但是，GANs有时不能产生真实的图像。这是因为，GANs的生成器容易崩溃，而且GANs受超参数设置的影响很大，很难平衡判别器和生成器之间的学习。因此，由于参数在局部最优时趋于下降，学习不稳定。

CNNs有一个池化层。虽然池化层减小了数据的大小，使其更容易处理处理，但CNNs会丢失图像特征之间的关系信息。因此，CNNs倾向于在物体各部分完整的情况下识别物体，即使各部分的位置发生了变化。Hinton等人在2017年提出了Capsule Network。Capsule Network克服了CNNs的这种缺陷。因此，我们期望使用Capsule Network的GANs比使用CNNs的GAN更好地保存图像中物体的位置。使用胶囊网络的GANs(图1中的Capsule GAN1)被提出[5]、[6]。但是，这些GANs只在判别器中使用了Capsule Network，在生成器中没有使用。

图1：本实验中使用的GANs结构。(a)是DCGAN，使用CNN。(b)、(c)和(d)是使用胶囊网络的GAN。(b)是由Gadirov等人提出的[5]。这种结构只在判别器中使用Capsule Network。(c)和(d)在判别器和发生器中使用胶囊网络。

因此，我们提出了Capsule GAN，在GAN的判别器和生成器架构中都使用Capsule Network。我们介绍了两种在生成器中使用Capsule Network的方法。一种是使用判别器的DigitCaps层作为生成器的输入[7]（图1中的Capsule GAN2）。DigitCaps层是Capsule Network的输出层。另一种是在生成器中使用Capsule Network，如CNNs（图1中Capsule GAN3）。我们进行了一个由Capsule GANs生成图像的实验，并对Capsule GANs生成的图像进行评估。在这些实验中，我们使用MNIST、Fashi-MNIST和 "猫咪图像 "作为训练图像。猫咪图像是彩色图像，这是牛津大学发布的数据集。我们使用Inception Score对GANs生成的图像进行评估。

Capsule GAN架构是一个简单的GAN架构.因此，GAN的改进方法[14]、[15]（WGAN）适用于Capsule GAN。本研究的目的是提高Capsule GAN生成的图像质量。

RELATED WORK

A. Generative Adversarial Networks Using CNN

B. Generatice Adversarial Networks Using Capsule Network

报道了一些使用胶囊网络的GAN。Gadirov等人[5]和Jaiswal等人[6]提出了胶囊GAN（Capsule GAN1）。) GAN1胶囊改善了MNIST和CIFAR-10生成。(Capsule GAN2[7]，使用Capsule 网络层的判别器的生成器输入。然而，这个胶囊GAN只生成MNIST图像。 在本文中，我们通过对Fashion-MNIST和 "猫咪图像 "等更复杂的图像的附加实验，展示了传统胶囊GAN生成真实图像的难度。

在本文中，我们提出了一种使用Capsule Network的GAN架构，该架构不仅用于鉴别器，而且还用于生成器。

CAPSULE GAN ARCHITECTURE

我们提出胶囊GAN的两种架构。一种是将鉴别器的层作为生成器的输入（Capsule GAN2）。另一种是在生成器中使用胶囊网络，如CNNs（Capsule GAN3）。鉴别器的架构是一样的。

图4：在生成器中使用DigitCaps层的胶囊GAN2的结构。DigitCaps层乘以潜值。计算出的值是生成器的输入。

A. Capsule GAN2 (Using DigitCaps Layer in Generator))

在这个架构中，采用了与鉴别器相同的胶囊网络。其结构如图4所示。鉴别器的输入是训练图像（真）和生成器生成的图像（假）。鉴别器输出输入图像是真的还是假的。Capsule Network的DigitCaps层保存了图像的特征。因此，DigitCaps层的输出是真图像和假图像的特征。生成器使用鉴别器的DigitCaps层。DigitCaps层乘以潜变量，它们被视为生成器的输入，生成器使用DigitCaps层的输出，该层保存了图像的特征。我们只使用真实图像的DigitCaps层。我们发现，当生成器使用假图像的特征时，生成的图像质量很差。这是因为生成器在训练初期就使用了假图像的特征，尽管使用的特征质量很低。这种现象的实验结果如第Ⅶ-B节所示。在接收到DigitCaps层的输出作为输入后，生成器计算反卷积就像DCGAN那样并输出图像。

在这种方法中，Capsule GAN通过使用DigitCaps层，在鉴别器和生成器中都使用了Capsule Network。

图5：Capsule GAN3的生成器结构。这是胶囊网络中识别过程的逆向操作。该体系结构用于生成28×28的MNIST图像。在反卷积层之前，在动态路由中计算输入值。

B. Capsule GAN3 (Using Capsule Network in Generator

在这个架构中，Capsule GAN使用Capsule Network来实现生成器和鉴别器。鉴别器 架构与Capsule GAN2中介绍的相同。 生成器架构如图5所示。这是胶囊网络中识别过程的逆向操作。在反卷积之前通过动态路由增加生成图像所需的值。它稳定了生成图像的质量。图5显示了生成器生成28×28像素图像的情况。在生成器中使用Capsule Network时，动态路由参数会对输出图像产生重大影响。我们尚未调整生成64×64像素彩色图像的参数。因此，我们在此架构上仅使用MNIST和Fashion-MNIST进行了实验。

胶囊网络已集成到鉴别器和生成器中。

EXPERIMENT

我们对DCGAN，GAN1胶囊，GAN2胶囊和GAN3胶囊进行了对比实验。 Capsule GAN1仅在鉴别器中使用Capsule Network。Capsule GAN2和Capsule GAN3在鉴别器和生成器中都使用Capsule Network。DCGAN，GAN2胶囊和GAN3胶囊的结构见表Ⅰ，表Ⅱ和表Ⅲ。这些架构用于生成28×28像素的图像。对于GAN1胶囊，鉴别器的结构与表Ⅱ相同，发生器的结构与表Ⅰ相同。我们比较了以上四个GAN为MNIST和Fashion-MNIST生成的图像。

表1 表2 表3 表4 生成结果

结果表明，在鉴别器和发生器中使用胶囊网络的GAN生成的图像质量均高于使用CNN的GAN。在生成MNIST和Fashion-MNIST图像时，Capsule GAN3会生成最高质量的图像。它表明Capsule GAN3通过调整生成器的动态路由参数来生成更好的彩色图像或大尺寸图像。

CONCLUSION

本文提出了在鉴别器和生成器中都使用Capsule Network的Capsule GAN。我们介绍两种架构。一种是使用鉴别器的DigitCaps层作为生成器的输入。另一种是在生成器（例如CNN）中使用Capsule Network。两个鉴别器都按原样使用Capsule Network。我们仅将鉴别器中的本文提出的Capsule GAN的性能与使用CNN的DCGAN和使用Capsule Network的Capsule GAN进行了比较。因此，我们发现本文提出的GAN胶囊产生了更高质量的图像。因此，表明将Capsule Network用于GAN的鉴别器和生成器都是有效的。

我们计划将来在胶囊网络中采用反向操作的识别过程对发生器的参数进行调整。如果能处理一个大的或彩色的图像，它将有可能产生高质量的图像比GAN使用cnn。我们提出的架构是GANs的基本部分。因此，可以采用许多先前提出的提高GANs质量和稳定训练的方法。采用多种方法提高Capsule GAN的性能。

参考文献：
[5] H. Gadirov, M. Tamošiūnaité and D. Vitkute-Adzgauskiene, “Capsule architecture as a discriminator in generative adversarial networks”,Vytautas Magnus University, M. D. thesis, Feb. 2018.
[6] A. Jaiswal, W. AbdALmageed, Y. Wu and P. Natarajan, CapsuleGAN:Generative adversarial capsule network”, Brain Driven Computer Vision(BDCV), Oct. 2018.
[7] K. Marusaki and H. Watanabe, “A study on GAN using capsule network”, IEICE General Conference, D-12-8, Mar. 2019
[14] M. Arjovsky, S. Chintala and L. Bottou, “Wasserstein GAN”,
International Conference on Machine Learning(ICML), pp. 214-223,
Aug 2017.
[15] I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin and A. Courville,
“Improved training of Wasserstein GANs”, Neural Information
Processing Systems (NIPS), pp. 5769-5779, Dec. 2017