《Multi-Task Label Embedding for

2017-11-05  本文已影响0人  best___me

论文链接:https://arxiv.org/pdf/1710.07210.pdf

多任务文本分类利用任务之间的隐式关系,可以提取通用特征。之前的研究都是将每个任务的label当作独立的,并且表示为没有意义的one-hot向量。会造成潜在信息的丢失,并且造成联合学习三个任务的困难。本文中,我们提出一个Multi-task label embedding来将labels转换为semantic vectors(语义的向量),因此将之前的任务转换成vector matching任务。本文实现来无监督,有监督和半监督的模型 of Multi-Task Label  Embedding。利用任务之间的语义相关性(semantic correlations),多任务可扩展。

word embedding:utilize some lower layers to capture common features that are further fed to follow-up task-specific layers. 然而现有的模型有如下缺点:

1. 缺少label信息  2. incapable of scaling不能缩放  3. incapable of transferring不能迁移


本文的contribution:

1. 将每个任务的label映射到低纬,稠密的,real-value向量,with semantic implication语义涵盖。      2. 新任务进入后可扩展,网络结构不需要修改,只需要数据   3. 在训练多个任务之后,对于新任务,模型可以迁移,不需要额外训练。  4. 在很多数据集都有很好的效果,超过很多state-of-the-art baselines。


多任务学习的三个角度:

multi-cardinality:多基数, 序列长度不同,类别个数不同

multi-domain:多领域,books、DVDs

multi-objective:多目标,sentiment analysis,topic classification,question type judgement


方法:

在很多NLP任务中,都是将变长的词序列变成定长的向量,例如neural bag-of-words(NBOW),recurrent neural networks(RNN),recursive neural networks(RecNN),convolutional neural network(CNN)。   

这些模型首先用pretrained lookup layer将词序列,n-grams或者其他语义单元(semantic units) 转换成embedding representations

然后通过神经网络理解向量序列 vector sequences

最后使用一层softmax层来预测类别分布。


Recurrent Neural network:

rnn

!!!f is usually a composition of an element-wise non-linearity with an affine transformation of both xt and ht-1


Multi-task label embedding:

将每个任务的label转换成具有语义隐含的一个低维度,稠密的,real-value向量。所以揭露了任务内和任务间的关系。

embedding包括三部分:Input Encoder,Label Encoder,  Matcher

matcher:做向量匹配 ?


model-I: unsupervised

使用输入序列和分类的label作为所有数据集,训练embedding model Eunsup,包含了不同任务的上下文特征。embedding model 得到 input的和label的 Lui, Lul

为了得到Lei和Lel,将序列中的向量求和然后求均值,因为没有任何supervised annotation标注。

对于matcher,D(Xk, Yk),计算Cosine相似度或L2距离,选择与Xk最近似的Yk

~感觉这句话写的很好,记录下来(Model-I may fail to achieve adequately satisfactory performances due to employments of so many unsupervised methods, but can still provide some useful insights when no annotations are available at all)


Model-II:supervised

M2m*1  是 matcher

公式15中的y是真实label的one-hot representation

目标函数

当一个新任务来的时候,如果在先前参数的基础上继续训练----Hot Update

如果re-train----cold update


Model-III:Semi-supervised

模型三和模型二唯一的区别是如何处理新任务,如果新任务是没有标注的,对每个输入序列挑选最好的label,without further training,定义为zero update

上一篇下一篇

猜你喜欢

热点阅读