CycleGAN无配对图像翻译

CycleGAN非配对图像翻译

非配对图像翻译的目标：从非配对图像中学到转换

从非配对的两个领域之间学到一种映射，比如给定一张白天拍的照片和晚上拍的照片，让你去学习一种映射，把所有的白天拍的照片都转成晚上拍的照片

回想语言翻译

我们也会遇到类似的问题，例如对于某些小语种，比如某些部落的语言，不像英语汉语有平行语料，也找不到这些小语种和大语种的平行语料

这个时候我们就会用另一种方法，一个好的翻译要能把句子翻译过去再翻译回来

这样的思路也可以迁移到我们非配对图像翻译上来。将一个图像从领域A转换到领域B再转换回来，还能得到原图像的话，那么就认为这个转换是一个好的转换

问题建模

两套GAN

两个一致性损失

要有两个判别器和两个生成器

Dx就是映射F的判别器，判断x和F(y)是不是在同一个领域

Dy是映射G的判别器，判断y和G(x)是不是在同一个领域

目标函数

在x和经过两次变换得到的x^ 之间的损失函数

在y和经过两次变换得到的y^之间的损失函数

因为x和y都最后又变成了x和y，所以名字叫做CycleGAN

损失函数

和GAN的损失函数是一样的

λ系数是控制权重的

因为是没有配对的，所以域A中一张图片可以映射到域B中的任意一张图片

如果没有cycle一致性损失的时候，其映射结果是很多样的

参考：https://blog.csdn.net/hxxjxw/article/details/108011161