迁移学习(Transfer Learning)

在软件开发中，复用开源软件或者库，避免了相同功能的代码重复开发，减少了重复劳动，也有效缩短了软件开发周期。

相应的，复用已训练好且经过充分验证的模型，可节省海量的训练时间和计算资源。这些预训练好的模型，可以进行直接部署，也可以进行迁移学习（Transfer Learning）。

对个人开发者或小公司来说，非常有意义的，可以快速复用大公司使用海量计算资源训练的模型，而他们去获取这些资源是很不现实的。

微调是在模型经过预训练后进行的训练，首先获取一个预训练的语言模型（不限），然后使用特定于任务的数据集进行额外的训练。为什么不从头开始训练模型呢？有几个原因：

1，预训练模型已经在与微调数据集有一些相似之处的数据集上进行了训练。因此，微调过程能够利用初始模型在预训练期间获得的知识（例如，对于NLP问题，预训练模型将对用于任务的语言具有某种统计理解）。

2，由于预训练模型已经在大量数据上进行了训练，因此微调需要更少的数据也能获得良好的结果。

3，出于同样的原因，获得良好结果所需的时间和资源要少得多。

微调只需要有限的数据量：预训练模型获得的知识被“转移”，因此称为迁移学习（Transfer Learning）。