迁移学习和PyTorch预训练模型库

在深度学习计算机视觉领域的实践中，几乎很少人从头开始训练整个卷积神经网络（随机初始化网络权重），因为拥有足够大小的数据集相对较少。

比较实际的做法是：在非常大的数据集（例如， ImageNet，其中包含 120 万张具有 1000 个类别的图像）上预训练卷积神经网络，然后将预训练权重用作目标任务的初始化权重或者固定特征提取器(feature extractor)。

这种在新任务上使用预训练模型(Pre-trained model)解决问题的方法，叫做迁移学习。
其好处有：

• 训练速度快(节约百倍以上时间，相比从头开始训练一个随机初始化的网络)
• 需要的训练数据少(100张/类)

迁移学习的主要应用场景有：

• 微调卷积网络：预训练权重而不是随机参数初始化网络，然后开始训练网络。
• 使用预训练卷积神经网络作为固定特征提取器：冻结除最终全连接层之外的所有网络的权重，然后将最后一个全连接层替换为具有随机权重的新层，并且只训练这一层。

torchvision.models 子包包含用于解决不同任务的模型定义，包括：图像分类、语义分割、目标检测、实例分割、人物关键点检测、视频分类和光流。

更多更丰富的模型在Pytorch Hub中， PyTorch Hub是一个供所有贡献者发布并重用预训练模型的存储库。

具体范例程序：https://github.com/aladdinpersson/Machine-Learning-Collection/blob/master/ML/Pytorch/Basics/pytorch_pretrain_finetune.py