2017 · EMNLP · Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

想法来源：从自然语言推理的encoder中得到sentence embedding的表示。

价值：证明了NLI 迁移的可行性

方法：从NLI数据集上面训练的encoder模型，迁移到其他任务。

缺点：

详细方案：

1. 基本的NLI模型结构

   
   -c400

2. 使用7种主流的encoder方法

   
   -c150

3. 在主流的几个任务中进行测试，其中包括多分类，二分类，相似度评测(Spearman/pearson matric)，caption image retirval.

数据集：
全部都在FB的Github SentEval

实验：

• 实验首先证明了哪个encoder表现较好

  
  -c400

• 证明了NLI数据预训练的可行性

  
  -c

• 研究了embedding size 的影响

-c500

• 最后比较了在Image Caption retrieval上的结果

image