T5-网络设计的技巧

梯度下降

在训练过程中，经常会遇到梯度为0的情况，可能并不是我们想要的结果，我们只想要得到梯度极小值。根据泰勒展开来进行判断属于哪一个类别。

数学原理

将数据分成各个batch来计算最终参数。