【系列】深入浅出解读GAN!
前言
也许你已经被对抗生成网络、对偶学习等高大上的概念吸引,也许你正沉浸在pix2pix这个好玩的程序之中。那么,你不想知道究竟什么是GAN吗?它的工作原理又是什么?它会向哪个方向深入发展?
事实上,GAN并不仅仅能够生成各种新鲜有趣的图片,它也是一整套机器学习框架,甚至于一种寓意深刻的思想方法。
我们知道,现在的机器学习擅长的是对图片、语音、文本等进行分类,我输入给神经网络一张图片,它就可以输出一个数,告诉我这个图片是猫还是狗。现在,科学家们希望把这个过程反过来,也就是我输入一个数,神经网络则给我一张图片。这就是所谓的生成过程。
在GAN出现之前,人们已经找到了一些生成图片、语言等的方法,比如自编码器(AutoEncoder),或者反卷积神经网络(De-convolution)等。但是,这些生成方法得到的图片结果却总是效果不佳,而且训练也很慢。于是,Ian Goodfellow就提出了一种全新的方法,它创造性地把深度学习的一体问题转化为了一个二体问题。也就是说,本来我想得到的是一个生成器(一体),但是GAN方法却同时训练了两个神经网络(二体):一个是生成器,一个是判别器。令人意想不到的是,将两个网络一起训练不仅没有增加我们的负担,反而会同时将生成器和判别器一起训练好。
具体的,我们可以把GAN的思想表示成如下框图:
其中生成网络专门为了造假,生成各种伪造的人脸,而辨别网络则专门负责甄别输入的图是真实的人脸还是伪造的赝品。这两个网络一起训练。这样,生成网络和辨别网络二者之间就构成了一种零和博弈关系。
令人意想不到的是,正是这样一个二体关系的引入却能大大提升生成器造假的水平。而另一方面,人们发现,这样训练出来的辨别网络居然也能比通常表现更好。
从另一个角度说,GAN的出现以及流行标志着深度学习已经由单体年代进入了多体年代,越来越多的博弈关系的引入将会被引入深度学习框架之中。例如,现在已经有了的Teacher-student架构,以及对偶学习架构实际上都在用二体来训练神经网络。
继续学习课程......
为了将GAN的思想和技术阐述的更详细。集智AI学园推出了系列课程专门讲解各种GAN。你将聆听到三位女生为您解读这些最前沿的技术。
1、深度学习新星——生成对抗网络
首先,让我们来听听北大的姑娘尉方音给我们介绍GAN的工作原理是什么,以及目前比较流行的集中对原始GAN的扩展。
【http://campus.swarma.org/gcou=10128】
课程内容包括:
生成对抗网络原理介绍
一些有趣的GANs发展方向
生成对抗网络在实践中的训练技巧
WGAN——GANs的原理突破
2、深度生成对抗网络(DCGAN)的解读与应用
接下来,秀外慧中的90后美女讲师文雷将向我们详细解读Radford & Luke Metz, Chintala: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 这篇经典文献。
【http://campus.swarma.org/gcou=10142】
课程内容包括:
传统生成对抗网络(GAN)的工作原理与缺陷
DCGAN的优势总览
DCGAN的改进点
DCGAN的实验与应用
DCGAN总结与未来研究方向
3、GAN与改进型的GANs
最后,如果你想获得理论上的提升,就请听一听中科院理论物理所的甄慧玲博士为我们讲解的这堂课。你将会看到,计算机科学家、物理学家和数学家是如何从不同的视角来看待GAN的。
【http://campus.swarma.org/gcou=10130】
课程内容包括:
1、GAN结构上的改进
模式正则化生成式对抗网络(Mode Regularized GAN)
边界寻找生成式对抗网络(Boundary-Seeking GAN)
最大似然增强的离散生成对抗网络(Maximum Likelihood Augmented Discreted GAN)
最小二乘生成式对抗网络(Least Squares GAN)
Wasserstein GAN
2、GAN计算上的改进(正则化、耦合)
能量生成对抗网络(Energy-based GAN)
概率估计深度生成模型(Deep Generative Models with Probability Estimation)
3、我们正在研究并推荐的方法
基于能量模型的变分训练(From variational training of energy-based models)
从给定目标分布中抽取样本进行概率推理(Draw sample from given target distributions for probabilistic inference)
4、工程学的换位思考——数学辩证法还是物理辩证法?
想进行代码实践吗?
想看小司机直播带你装环境、调试DCGAN代码?
快来入群:
集智QQ群|292641157
集智俱乐部
英文名: Swarma Club ,
成立于 2008 年 ,
是一个从事学术研究、
享受科学乐趣的探索者的团体 。
力图搭建一个中国的
“ 没有围墙的研究所 ”。
搜索公众号:集智俱乐部
让苹果砸得更猛烈些吧!
长按识别二维码,关注集智俱乐部,
让我们离科学探索更近一步。