一种迁移学习和元学习的集成模型

导言

本文提出了一种将迁移学习和元学习结合在一起的训练方法。本文是论文A Meta-Learning Approach for Custom Model Training的笔记

介绍

传统上我们需要很多的训练数据才能训练出一个好的模型。但是在很多任务上，如：自动驾驶，无人机等，我们就需要快速地应对一些未见过的情形。

迁移学习通过在其他数据集上的大量训练，然后将其训练出的模型复制到目标任务上，最后在目标任务上通过少量标注数据对模型进行微调。但是这个基于梯度下降的方法在新任务上依然需要很多的标注数据。

元学习则是指一类只关注学习本身的学习算法。元学习在任务空间进行训练，而不是在（像迁移学习一样）实例空间进行训练。迁移学习在单个任务上进行优化，但是元学习会在任务空间里采样多个任务，然后在多个任务上学习。因此元学习模型理所应当的在未知任务上表现地更好。虽然元学习确实在few-shot learning上表现良好，但是当目标任务上可训练的样本较多时，元学习的性能就不太好了。比如可能随着时间的推移，我们积累了越来越多的标注数据，我们当然想要不断地提高我们的性能啦！但是随着数据的增多，元学习可能就不work了。还有一种情形是，目标任务的类别太多时，元学习的表现也不太好。

所以作者就想到了要结合元学习和迁移学习之优势，以弥补各自的不足。

Meta-Transfer Learning (MTL)

这个模型有两个损失函数，1)任务专用的-迁移学习（task-specific），记作 ； 2)任务无关的-元学习(task-agnostic)，记作 。这个模型则根据这两个损失函数更新后的向量的加权和来更新。参数更新方法如下：

在这里插入图片描述
本模型的元学习部分使用MAML或Reptile。
以下是模型的结构。
在这里插入图片描述

实验

作者在miniImageNet数据集上做了验证，结果MTL的表现极好。实验结果如下：

在这里插入图片描述

从实验来看，MTL在各个任务上都碾压了迁移学习和元学习的方法，确实是集两者之所长。考虑到这篇文章这个很玄学的idea，一骑绝尘的实验结果应该也是这篇文章能发在AAAI上的重要原因。

参考文献：
[1]: Eshratifar, Amir Erfan, et al. "A Meta-Learning Approach for Custom Model Training." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. 2019.

————————————————
本文首发于CSDN
版权声明：本文为CSDN博主「miguemath」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/wangkaidehao/article/details/103789820