论文剖析：Unsupervised Diverse Colori

2018-09-17 本文已影响120人 HellyCla

背景

向着convert sketch/gray to image的方向搜索论文与资料，发现当前sketch-to-image的研究中还原效果很差，轮廓模糊，种类少而简单，单个物品训练转换，至多训练了50多种，不符合我预先设想的复杂任意场景的有效还原，后又看到colorization相关的论文，为grayscale-to-RGB/YUV image转换，目测效果还不错，因此想复现一下论文尝试用自己搜集的复杂数据集做一下测试。

已阅论文：

Augmented CycleGAN: Learning Many-to-Many Mappings from Unpaired Data
解决cycleGAN中Cross-domain只能随机选取一对一确定性映射问题，每个域增加一个增广域，在训练中学习属于该域的结构性特征，实现两个域之间many to many的合理转换。不符合目标是一对一的准确映射。
Video-to-Video Synthesis
视频到视频的合成，包括草图生成人像的视频，但是采用的训练方法及训练集均为video-to-video领域，而不是image-to-image, 实时视频通信仍需采用image-to-image。
SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis
Sketch to Image Translation Using GANs
这两篇论文中的效果图看起来有点差，意会含义勉强尚可，离应用至实际场景距离略远：
image.png

Colorization

Unsupervised Diverse Colorization via Generative Adversarial Networks是近期阅读论文中看起来效果还很不错的一篇，于是仔细研究一下论文和代码。

基本网络结构

下面是基本的利用GAN网络来解决此问题的框架结构：Generator 的两个输入是灰度图+随机noise z，经过Generator网络产生UV分量，与Y分量（即输入的灰度图）合并得到Generated color image, Discriminator即用来鉴别该图与原始的彩色图像。

传统的基本的GAN结构（针对自上色问题）

论文中的创新点总结：

不采用encoder-decoder的结构，只使用卷积层，不使用反卷积层，并将卷积核的stride全部调为1，以避免在卷积过程中数据规模减小，保持空间信息，在上色过程中空间信息是很重要的。
在Generator中每一层都与第一层直接相连（从U-Net改进而来），使得生成图像时局部的空间信息指导更为详细，色块分界更清晰。

对比图
对于传统的在初始的单层输入Noise z做法加以改进为多层输入z, 即将前半部分网络每一层都与第一层联结起来，实现noise的多层输入，效果是增加了上色风格的多样性diversity。
对输入图像YUV与RGB格式加以对比，YUV因只需预测UV两个通道，损失函数表达简洁，网络的稳定性及生成的图像风格多样性表现更好。RGB因需要预测三个通道，损失函数需要增加额外的L1损失惩罚项来加以限制。

增加的L1损失项
RGB损失函数

论文中采用的网络结构

Generator && Discriminator
细节

生成器：
除了输出层用tanh函数，其他所有层都用的是lrelu(leaky-relu);
最后一层输出2 channels,即UV两通道
鉴别器：
h0~h3层均采用lrelu+batchnorm,最后两层用linear,并reshape为一维向量，最后求平均作为D(y,z)值

代码部分

在公布的一份简陋的代码中，仍存在许多问题，需要我们自己根据自己的库、版本以及需求来修正。
微修正的实现代码
存在的问题有：

代码中：visualize,multi-z,multi-condition，transform等参数均未实现对应功能代码。multi-z的作用是concat 多层 noise,multi-condition即concat multi-layer condition.
improve_GAN主要用于增加梯度惩罚项，系数默认为10，体现在d_loss中。可用可不用，可以在测试对比损失函数效果时用，使用此项时优化函数用Adam。
3.noise z在代码中并未单独处理concat问题，将noise也与灰度图做统一处理，使用了生成器网络，若想实现论文效果，需另外重写输入noise时的网络结构。
test_z_fixed.pkl这个序列化文件应该是对noise z做了调整，具体结构内容未知。

算法流程

在实现中Kd=5, Kg=1.在迭代中不断更新参数值。

关键代码
多层联结的生成器卷积网络是这个GAN网络创新的核心部分，实现如下：

  def generator_colorization(self, z, image_Y, config=None):
        with tf.variable_scope("generator") as scope:
            # project z
            h0 = linear(z, config.image_size * config.image_size, 'g_h0_lin', with_w=False)
            # reshape 
            h0 = tf.reshape(h0, [-1, config.image_size, config.image_size, 1])
            h0 = tf.nn.relu(batch_norm(h0, name='g_bn0'))
            # concat with Y
            h1 = tf.concat([image_Y, h0], 3)
            # print 'h0 shape after concat:', h0.get_shape()
            h1 = conv2d(h1, 128, k_h=7, k_w=7, d_h=1, d_w=1, name='g_h1_conv')
            h1 = tf.nn.relu(batch_norm(h1, name='g_bn1'))

            h2 = tf.concat([image_Y, h1], 3)
            h2 = conv2d(h2, 64, k_h=5, k_w=5, d_h=1, d_w=1, name='g_h2_conv')
            h2 = tf.nn.relu(batch_norm(h2, name='g_bn2'))

            h3 = tf.concat([image_Y, h2], 3)
            h3 = conv2d(h3, 64, k_h=5, k_w=5, d_h=1, d_w=1, name='g_h3_conv')
            h3 = tf.nn.relu(batch_norm(h3, name='g_bn3'))

            h4 = tf.concat([image_Y, h3], 3)
            h4 = conv2d(h4, 64, k_h=5, k_w=5, d_h=1, d_w=1, name='g_h4_conv')
            h4 = tf.nn.relu(batch_norm(h4, name='g_bn4'))

            h5 = tf.concat([image_Y, h4], 3)
            h5 = conv2d(h5, 32, k_h=5, k_w=5, d_h=1, d_w=1, name='g_h5_conv')
            h5 = tf.nn.relu(batch_norm(h5, name='g_bn5'))

            h6 = tf.concat([image_Y, h5], 3)
            h6 = conv2d(h6, 2, k_h=5, k_w=5, d_h=1, d_w=1, name='g_h6_conv')
            out = tf.nn.tanh(h6)

            print('generator out shape:', out.get_shape())

            return out

测试结果：待更新。

笔记们

略多。列表见好了。