对比学习

2021-09-01  本文已影响0人  术枚派

对比学习(Contrastive Learning)是自监督学习的一种。自监督学习属于无监督学习范式的一种。常见的机器学习大多数是有监督学习,特点是训练数据都有标注,而无监督学习解决的问题是数据没有标注的情况。

自监督学习

自监督学习分为两种,生成式的方法(Generative Methods)和对比式的方法(Contrastive Learning)。

生成式的方法

例如自编码器,原理是将数据先进行编码Encoding,再进行解码Decoding。这样在中间的特征空间里包含了原来的样本特有的信息,所以可以对正负样本在特征空间进行对比。解决了原始的数据无法直接进行相似度比较。


对比式的方法

将正例样本和负例样本在特征空间进行对比,来学习样本的特征。看起来有点类似孪生神经网络。


对比学习的目标是训练出一个编码器f使得xx^+(与x相似的正样本)的score比xx^-(与x不相似的负样本)的高。
score(f(x),f(x^+))>>score(f(x),f(x^-))

引用

对比学习(Contrastive Learning)
什么是对比学习?

上一篇 下一篇

猜你喜欢

热点阅读