ELMo
2019-10-20 本文已影响0人
数据智能谷
ELMo: Embeddings from Language Models
ELMo用到上文提到的双向的language model, 给定N个tokens (t1, t2,...,tN), language model通过给定前面的k-1个位置的token序列计算第k个token的出现的概率:
image.png
后向的计算方法与前向相似:
image.png
image.png
image.png
