三个阶段

• Word Embedding

  • Word2Vec (2013)
  • Glove(2014)

• RNN改进和拓展

  • LSTM(1997)/GRU(2014)

    • GRU：它把遗忘门和输入门合并成一个更新门

      
      

  • Seq2Seq(2014)

  • Attention/Self-Attention(2014)

• Contextual Word Embedding(上下文 Word Embedding)

  提出背景：监督数据量不足，难以学到复杂的上下文表达
  解决方案：使用无监督的Contextual Word Embedding
  • ELMo(2018)
  • OpenAI GPT(2018)
  • BERT(2018)