未经允许，不得转载，谢谢~~~

一 one-shot learning

在了解meta-learning之前先大概了解一下one-shot learning。

与传统的deep learning方法不同，one-hot主要考虑现实中训练好的模型在实际使用时(target dataset)需要面对每个类只有1个标注数据(one shot learning)或者极少数标注数据(few shot learning)的情况。

所以one hot最大的障碍就是缺少足够的训练数据。

现有的one hot学习方法可以被分为：

• direct supervised learning-based approaches;
• transfer learning-based one-hot recognition;

1.1 direct supervised learning-based approaches

1. 直接在target数据集上用监督学习的方法对分类器进行训练；
2. 最简单的是使用non-parametric model，例如knn（不受到训练样本限制）;
3. 但knn得到的distance metric可能不准确，所以我们需要学习得到metric embedding;
4. 还有的方法是用对target里面的数据做增强来得到更多的训练数据；

以上的方法都没有用到知识迁移，在遇到新的类的时候还是没有办法应对，即做不到 lifelong learning；

1.2 transfer learning-based one-hot recognition

1. 这类方法与zere shot learning的想法类似，假定在不同的类之间存在可以用于辅助的训练数据；
2. 他们利用learning to learn(meta-learning)的方法，希望能够将辅助数据集上学到的知识迁移到每个类别只有1个或者几个样例的target数据集上。
3. 这些方法的不同之处主要有：
   • what knowledge is transferred；
   • how the knowledge is represented；
4. 具体而言可以在生成模型、特征和与语义属性中以模型的形式提取并共享信息；
5. 很多现有的zero-shot学习方法和知识迁移都是通过一个共享的embedding space来实现的；
6. embedding space可以通过神经网络、判别分类器、内核嵌入方式获取得到；

二 meta-learning

meta-learning中比较常见的一种训练方式的N-classes-k-shot；

在参考资料中的第4篇文章中介绍了这种训练方式。

关键词：N-way K-shot training,

具体的后续继续更新吧。

参考资料

1. S. Thrun. Learning To Learn: Introduction. Kluwer Academic Publishers, 1996.
2. Ricardo JVilalta and Youssef. Drissi. A perspective view and survey of meta-learning. Artificial intelligence review, 2002.
3. Meta-Learning: A Survey
4. Brenden M Lake, Tomer D Ullman, Joshua B Tenenbaum, and Samuel J Gershman. Building machines that learn and think like people. Beh. and Brain Sc., 40, 2017.