踩坑记录

1. 模型加载参数不匹配

size mismatch for roberta.embeddings.token_type_embeddings.weight: copying a param with shape torch.Size([1, 768]) from checkpoint, the shape in current model is torch.Size([2, 768]).

出现场景，使用transformers包的预训练模型 from_pretrained加载huggingface 模型，然后在这基础上继续训练，由于模型参数和当前输入数据维度不匹配造成，比如这里，模型原本的 type_vocab_size 为1，所以token_type_embeddings维度为[1,768]，而我之后的 type_vocab_size 为2， 需要token_type_embeddings维度为[2,768]，所以在转换为token_type_embeddings的时候无法匹配。解决方案，手动将参数维度修改之后重新保存模型，然后加载进来：

import collections
check_point = torch.load("pytorch_model.bin")
dicts = collections.OrderedDict()
for k, value in check_point.items():
    if k == "roberta.embeddings.token_type_embeddings.weight":
        value = value.repeat(2, 1)
        print(value.size())
    dicts[k] = value
torch.save(dicts, "pytorch_model.bin")
Roberta_for_mlm = RobertaForMaskedLM.from_pretrained(pretrained_path)

2. loss=Nan
   一般loss=nan 分几种情况：

• 运算中出现除以了0的情况
• loss计算采取加和的方式，超出了实数可以表达的范围，过大INF（无穷）或者过小，比如不做其他处理的softmax中分子分母需要计算exp（x），值过大，最后可能为INF/INF，得到NaN，此时你要确认你使用的softmax中在计算exp（x）做了相关处理（比如减去最大值等等）
• 多GPU运算因为显存不够而导致的多卡无法同步，其中一张卡提前爆掉也会出现 loss=nan(踩坑，一般都会去找代码的错，代码实在没有错就该怀疑是硬件的问题了，换了卡跑就解决了)
• 如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
• 输入中就含有 nan

使用 DataParallel 多卡训练报错，单卡不报错，排查原因发现多卡无法返回 没有维度的值，在计算loss的时候直接置为了0，换成了None问题解决，

具体问题：使用bertforpretrainning ，在其中一次调用模型的时候不需要进行预训练的俩任务：MLM & NSP，于是修改了输入，不传入 labels & next_sentence_label，于是计算 total_loss 的时候直接改为了 等于0，没有维度的值无法多卡返回，于是改为None，问题解决。
魔改模型的时候一定要注意一些值原本的default 值是什么类型，不起眼的点或许导致很大的问题，感谢学长帮我排查问题！