Multiple-Attribute Text Rewritin

还是无监督机器翻译的那个老哥发的，用同样的方法已经发了ICLR18，ICLR19，和EMNLP19的best paper了。

作者说如果不进行pooling的话，模型很快就变成了复制原始的输入。

训练的时候竟然调了beta1原来是0.9,这个参数用于控制动量和当前梯度的比重。

损失函数，d是一个decoder根据hidden state和属性集合y生成句子， Pd是根据hidden state和属性y生成句子x的概率，可是看到为了让每一步都是可微分的，所以生成的时候用的是采样多项式分布 并不是beam search，或者gready search，目标是增加多样性，而不简单的是增加bleu

并且作者也说了不给decoder时候softmax加温度也会造成性能的下降。

感觉使用bpe也是他的一个成功的因素

衡量流畅度是使用kneser-Ney n-gram

完全和无监督机器翻译那一片论文是一样的了，使用属性的average embedding进行初始化，