2018-04-15 迁移学习的度量准则

迁移学习的方法主要包括：基于样本的迁移，基于特征的迁移，基于模型的迁移和基于关系的迁移。

“迁移学习的总体思路可以概括为:开发算法来最大限度地利用有标注的领域的知识，来辅助目标领域的知识获取和学习。”

“找到相似性 (不变量)，是进行迁移学习的核心。有了这种相似性后，下一步工作就是，如何度量和利用这种相似性。度量这种相似性，本质上就4-是找一个变换使得源域和目标域的距离最小(相似度最大)。”

距离和相似度度量准则包括：

（1）欧氏距离

（2）Minkowski distance

（3）马氏距离

（3）余弦相似度

（4）互信息

（5）皮尔逊相关系数

（6）Jaccard 相关系数

（7）KL 散度（Kullback–Leibler divergence），又叫做相对熵

（8）JS 距离（Jensen–Shannon divergence），基于 KL 散度发展而来，是对称度量

（9）最大均值差异 MMD（Maximum mean discrepancy）

（10）Principal Angle

（11）A-distance

（12）希尔伯特-施密特独立性系数，Hilbert-Schmidt Independence Criterion，用来检验两组

数据的独立性

（本文引自http://jd92.wang/assets/files/transfer_learning_tutorial_wjd.pdf）