Improving Neural Language Modeli

2019-06-12 本文已影响0人 VanJordan

感觉方法超级简单，可能就改了两三行就能中ICML，理论推导也很简单，核心思想就是对抗训练，加入的噪声能让正确答案的概率最低，首先这个方法简单就简单在直接在训练的时候往正确答案的那一列加上噪声，其他的不加，而且同样是加噪声虚拟对抗训练那一篇是也是为了最小化正确答案，然后是往训练的embedding上加噪声，一通推导得到了关于梯度的加噪声方法，还是挺work的，通过调ε基本上可以暴打分类上面的SoTA，这个也能调ε，而且翻译上面的实验用的是t2tbleu, 报的也是原始transformer代码里面的bleu，感觉这篇论文就翻译而言实验work的可信度是比较低的。