机器学习文本生成

GAN论文整理

2017-08-29  本文已影响29人  MiracleJQ

自己梳理了GAN相关论文和主线。

一共包含8篇论文,相关说明如下:

主线4篇,分别是:

1. Generative Adversarial Nets

(论文地址:https://arxiv.org/pdf/1406.2661.pdf)

GAN起始论文

2. Generative Adversarial Text to Image Synthesis

(论文地址:https://arxiv.org/pdf/1605.05396.pdf)

实现的任务是产生满足文本描述的图像,相当于是以文本描述为条件来产生图像,可以在某种程度上看做是对原始的conditional GAN模型(ARXIV-2014)的一种扩展和应用。

3. Wasserstein GAN

(论文地址:https://arxiv.org/pdf/1701.07875.pdf)

解决原始GAN存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。

4. Improved Training of Wasserstein GANs

(论文地址:https://arxiv.org/pdf/1704.00028.pdf)

提出通过梯度惩罚来对Critic(也就是D,WGAN系列都将D称之为Critic)实施Lipschitz限制,取代WGAN梯度截断。(现在我们的模型也是采用这种方法,效果比较好)

其他有关GAN应用于NLP的论文:

5. Generating Text via Adversarial Training

(论文地址:http://people.duke.edu/~yz196/pdf/nips2016_workshop.pdf)

以LSTM作为GAN的生成器,其中,用光滑近似(smooth approximation)的思路来逼近 LSTM 的输出。判别器的预训练方面,利用原始的句子和该句子中交换两个词的位置后得到的新句子进行判别训练。

6. SeqGAN_Sequence Generative Adversarial Nets with Policy Gradient

(论文地址:https://arxiv.org/pdf/1609.05473v5.pdf)

利用强化学习。将误差作为一种增强学习的奖励,以一种前馈的方式训练,用增强的学习的探索模式去更新G网络。

7. GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution

(论文地址:https://arxiv.org/pdf/1611.04051.pdf)

8. Adversarial Learning for Neural Dialogue Generation

(论文地址:https://arxiv.org/pdf/1701.06547.pdf)

用对抗性训练 (adversarial training) 方法来进行开放式对话生成 (open-domain dialogue generation)。文中把这项任务作为强化学习(RL)问题,联合训练生成器和判别器。

转载请注出处~

上一篇下一篇

猜你喜欢

热点阅读