03-BERT源码分析

BERT的源码文件主要包括下面几个部分

顾名思义，模型的描述主要就是在modeling.py这个文件中

pre_training.py,create_pretraining_data.py,extract_feature.py, tokenization.py是预训练相关的主要主要描述部分

下面，主要是对BERT模型构建的部分进行解析。

其中BERT 模型包括配置和模型两个部分，下面是配置的主要参数

模型的输入包括下面三个部分：

input_ids,             #padding过后的token id 序列

input_mask，      #输入的mask

token_type_ids，#token的类型，可能会有一些type类型

下面是主要的模型流程：

1.上面三个的shape都是   [batch_size, seq_length]

2.创建embedding_table(embedding_lookup)以及加上position_embedding和token_type_embedding(embedding_postprocessor)

3.创建attention mask ：attention_mask  [batch_size, seq_length, seq_length]

4.transformer_model: -> self.all_encoder_layers   list of [batch_size, seq_length, hidden_size] #transformer层，输出结果到一个列表

5.self.sequence_output =self.all_encoder_layers[-1]  [batch_size, seq_length, hidden_size] #最后一层作为输出

6.self.pooled_output   [batch_size, hidden_size] #奇怪的pool操作,只取第一个位置变量

可以看到，主要部分是tranformer_model这个函数

这里，trasformer使用了residual的设计，所以每层输入和输出的hidden_size要一样，这里都是768.

这里先设置了几个维度的缩写

# B = batch size (number of sequences)

#  F = `from_tensor` sequence length

#  T = `to_tensor` sequence length

#  N = `num_attention_heads`

#  H = `size_per_head`

下面是attention的过程

1. attention_head_size =int(hidden_size / num_attention_heads)#设置每个head里面权重的维度

2. 每层的transformer 包含三个主要操作，self-attention，intermediate，output

2.1 self-attention :   from_tensor [B, F,N*H],   to_tensor[B, T, N*H]是两个输入变量，这里两个变量是一样的，所以叫做self-attention

    query_layer = [B*F, N*H]  #单独的权重转换为多head的一个矩阵

    key_layer = [B*T, N*H]      #单独的权重转换为多head的一个矩阵

    value_layer = [B*T, N*H]   #单独的权重转换为多head的一个矩阵

    attention_scores = [B, N, F, T]   #scaled，这个挺有意思的，先scale

    attention_scores  += adder (1-mask)*-10000  #在softmax之前转化mask表示方式

    attention_probs = softmax 操作<-attention_scores #pad部分的attention值很小（接近0）   

    drop attention_probs #dropout 操作

    context_layer = tf.matmul(attention_probs, value_layer)  #  [B, F, N, H]

    dropout + layer_norm（context_layer + layer_input #residual 操作）

2.2 intermediate 就是一个全连接层

        输出[B, N, intermediate_size]

2.3 output 也是一个全连接层，

        输出[B, F, N*H]

         dropout + layer_norm（context_layer + layer_input #residual 操作）

3.输出最后一层transformer的输出[B,F,N*H] 进行pooler操作（取第一个位置的输出）

然后再进行全连接层+tanh激活作为输出，也就是[B,N*H]

综上，其实BERT主要这么深（12层）也是靠的sum residual的设计。muli-head attention确实有意思，其中的trick很多，比如pool操作，比如scale操作，layer norm操作等。