[论文笔记]CycleGAN：Unpaired Image-to

2020-05-07 本文已影响0人祁晏晏

GitHub：
CycleGAN

一图看懂

image.png

domain A和domain B的图片可以互相转化，输入的图片可以是unpaired

CycleGAN本质上是两个生成器（Generator A2B和Generator B2A），两个判别器（D_A和D_B）。

生成器采用U-Net，判别器采用LS-GAN。

image.png

对于半个CycleGAN来说，loss由判别loss和生成loss组成。

判别loss（D_B）

判断输入是否是真实的domain B图像

$L_{GAN}(G_{AB},D_B,A,B)=\mathbb{E}*{b\sim B}[\log{D_B(b)}]+\mathbb{E}*{a\sim A}[\log{(1-D_B(G_{AB}(a)))}]$
生成loss

重建的A图像和真实输入的A图像之间的差距，选择了L1 loss

$L(G_{AB},G_{BA},A,B) = \mathbb{E}*{a \sim A}[||G*{BA}(G_{AB}(a))-a||_1]$

由半个推整个，整个网络的loss也是由判别loss和生成loss组成。

domain-X的判别loss

$L_{GAN}(F,D_X,Y,X)=\mathbb{E}*{x\sim p*{data}(x)}[\log{D_X(x)}]+\mathbb{E}*{y\sim p*{data}(y)}[\log{(1-D_X(F(y)))}]$
domain-Y的判别loss

$L_{GAN}(G,D_Y,X,Y)=\mathbb{E}*{y\sim p*{data}(y)}[\log{D_Y(y)}]+\mathbb{E}*{x\sim p*{data}(x)}[\log{(1-D_Y(G(x)))}]$
生成loss

$L_{cyc}(G,F) = \mathbb{E}*{x \sim p*{data}(x)}[||F(G(x))-x||*1]+\mathbb{E}*{y \sim p_{data}(y)}[||G(F(y))-y||_1]$
所有损失

$L(G,F,D_X,D_Y)=L_{GAN}(G,D_Y,X,Y)+L_{GAN}(F,D_X,Y,X)+L_{cyc}(G,F)$

整个看下来还是挺好理解的，简单，但效果惊人。