VAE中重构项的替换

在上篇Disentanglement的文献总结中，disentangling就是对latent variable进行更多的约束，也就是KL项的产生各种变体。但是VAE还有一个重构项，

更改重构项

1. Hou, Xianxu, et al. "Deep feature consistent variational autoencoder." 2017 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2017.

   • 这个文章将pixel level的重构，替换为 deep feature的重构。pixel level的重构在很多地方都确实有问题，转换为deep feature的重构是一种可行的思路；

2. Hou, Xianxu, et al. "Improving variational autoencoder with deep feature consistent and generative adversarial training." Neurocomputing 341 (2019): 183-194.

   • 还是这位作者，把GAN加入了进来，用判别网络在deep feature上对抗训练。
   • 作者显然把前人在pixel上做的工作，统统在deep feature 上做了一遍，效果还不错。这对我们是个启发，deep feature是和任务相关的，重构deep feature当然在理论上应该是有更好的表现。

3. Zemouri, Ryad. "Semi-supervised adversarial variational autoencoder." Machine Learning and Knowledge Extraction 2.3 (2020): 361-378.

   • 同样是利用GAN+VAE的原理进行改进。采用两阶段的训练方法到底有啥优势？
   • 这种技术名称叫做：consistency principle for deep feature.

4. Agrawal, Siddharth, and Ambedkar Dukkipati. "Deep variational inference without pixel-wise reconstruction." arXiv preprint arXiv:1611.05209 (2016).

   • 这篇的名字就是说不要重构，用的NVP transformations来替换掉重构项。
   • NVP transformation 是deep feature的一个替代方案。

5. Ma, Xiao, et al. "Contrastive variational model-based reinforcement learning for complex observations." arXiv e-prints (2020): arXiv-2008.

   • 这篇文章是发现了VAE中存在互信息的描述，从而用contrastive loss替换掉了重构项。
   • 这里和前面的不同，前面都要间接计算, 这篇文章是从数学上抛弃了这个重构项。

小结

• pixel level的重构项在无噪声，图片内容和任务相关性很高的时候表现不错。但是在有噪声，有干扰的情况下直接重构并不好。
• 替换手段是多样的。确定性的转换(deep feature)和随机性的转换(NVP)都是可行的替代方案。Ref. 5采用contrastive loss直接处理掉重构也是可行。