Transformers高效训练的综述

A Survey on Efficient Training of Transformers

2 Feb 2023

https://arxiv.org/abs/2302.01107

Bohan Zhuang, Jing Liu, Zizheng Pan, Haoyu He, Yuetian Weng, Chunhua Shen

Transformers的最新进展对计算资源提出了巨大的要求，这突出了开发高效训练技术的重要性，通过有效使用计算和内存资源，使Transformers训练更快、成本更低、精度更高。本次调查首次系统地概述了Transformers的有效训练，涵盖了加速算法和硬件的最新进展，重点是前者。我们分析并比较了在训练期间为中间张量节省计算和存储成本的方法，以及硬件/算法协同设计技术。我们最后讨论了未来研究的挑战和前景。