meta-learning初印象

本文是对李宏毅老师课程的总结。

• 什么是meta-learning
  一般的机器学习方法是学习到处理一种任务的algorithm。下图中红色框起来的部分都是需要人为设计的，而让机器自动学会设计这些需要人为设计的部分就是meta-learning的目标。

  
  image.png

• 怎么评价meta-learning

  
  image.png

一般任务的评测是采用一种数据集就行，而meta-learning需要一组任务的数据的集合。上图中是meta-learning function 的loss。

• 一篇meta-learning的代表作MAML
  MAML的目标是学习下图中红框部分，神经网络的初始参数：

  
  image.png
• meta-learning与pre-training、transfer-learning
  pre-training是transfer-learning经常使用的技术，pre-training是首先在有大量语料的任务上训练得到参数，然后将这个参数直接应用在low-resource的任务上。而meta-learning是对多个学习后，再将新学到的应用在下一个任务上。
  image.png