快速变换器
2020-11-24 本文已影响0人
Valar_Morghulis
别人的汇总（似乎是搞图像的）
https://github.com/Separius/awesome-fast-attention
这是某个独立研究者从2018年写到2020年的论文，还会出现在2021年的WAVxxx?上
https://arxiv.org/pdf/1812.01243v9.pdf
谷歌把各种快速变换器做了个对比
Long Range Arena: A Benchmark for Efficient Transformers （就是下面那些图的来源）
https://arxiv.org/abs/2011.04006
Performer
https://zhuanlan.zhihu.com/p/280864164?utm_oi=58541947748352
https://arxiv.org/abs/2009.14794
Linformer
https://zhuanlan.zhihu.com/p/147225773
Linear Transformer
https://arxiv.org/pdf/2006.16236.pdf
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
https://github.com/lucidrains/linear-attention-transformer
