综述:迁移学习发展现状及未来趋势

2019-05-30  本文已影响0人  lirainbow0

the definition of transfer learning

Data
Label

Taxonomy Different Views

By Data Distribution
By Methodology
Domain characteristics
By Scene and algorithm

Conclusion

未来的研究中,有几个问题需要被重点研究。
首先,如何避免负迁移是一个公开的问题。大部分迁移学习算法假设source domain和target domain在某些场景存在相关性;一旦该假设不成立,就有可能在实验的过程中产生负迁移,结果就是迁移的效果比不迁移还要差。因此如果确保不会产生负迁移是迁移学习领域的一个非常重要的问题。为了避免负迁移的发生,在实验初期我们应该研究source domain、source task、target domain和target task之间的可迁移性。基于适当的迁移测试,选择相关source domain和task来抽取知识进行target task学习。为了定义domain和task之间的可迁移性,我们也需要定义domain之间或者task之间相似性标准。基于距离的度量,我们可以对domain或者task进行聚类,这可能会对迁移性测量带来帮助。一个相关的问题是,如果整个domain不适合做迁移时,我们是否可以利用其中的部分知识进行迁移?
其次,大部分迁移学习算法都关注于当source domain和target domain具有不同分布时,如何提升模型的泛化性。为了实现该想法,我们假设source domain和target domain之间的特征空间是相同的;然而,在大量的实际应用中,我们可能希望对不同特征空间的domain进行迁移,我们常叫该类算法为异构迁移学习。
迁移学习被归纳为4类:基于实例的深度迁移学习、基于映射的迁移学习、基于网络的迁移学习和基于对抗的迁移学习。在大部分实际应用中,上述方法被组合应用以获得更好的模型性能。当前大量的迁移学习研究都关注于有监督学习领域,未来深度学习在无监督和半监督领域可能会受到越来越多的关注。在传统迁移学习算法中,负迁移和迁移学习衡量方式是一个非常关键的问题,这也是在深度迁移学习中需要我们更加关注的研究。可以预见,随着深度学习的快速发展,深度迁移学习将会被广泛的应用在一些具有挑战性的课题上。

参考文献

上一篇下一篇

猜你喜欢

热点阅读