Transformer -> Bert
2021-08-03 本文已影响0人
poteman
思维导图
attention layer
self-attention
Transformer 模型搭建:
从single head 转化为multi-head
encoder网络主要由self-attention构成:
encoder网络
decoder网络
transformer模型
Bert(Bidirectional Encoder Representations from Transformers):
预训练transformer网络的encoder部分,
Bert的任务1:predict the masked word,随机掩盖句子中的词,让网络预测被mask掉的词;
任务2:预测两句话是否相邻
bert的任务2:预测两句话是否相邻
combining the two tasks:
数据样本格式
训练过程
bert的好处:数据无需人工标记,可以利用海量数据;
组件1:
attention layer
组件2:
self-attention
Transformer 模型搭建:
从single head 转化为multi-head
encoder网络主要由self-attention构成:
encoder网络
decoder网络:
decoder网络
transformer模型
Bert(Bidirectional Encoder Representations from Transformers):
预训练transformer网络的encoder部分,
Bert的任务1:predict the masked word,随机掩盖句子中的词,让网络预测被mask掉的词;
任务2:预测两句话是否相邻
bert的任务2:预测两句话是否相邻
combining the two tasks:
数据样本格式
训练过程
bert的好处:数据无需人工标记,可以利用海量数据;
【参考文献】:
- https://www.youtube.com/watch?v=aButdUV0dxI&list=PLvOO0btloRntpSWSxFbwPIjIum3Ub4GSC
- 课件:https://github.com/wangshusen/DeepLearning
- 论文: Transformer(attention is alll you need)