DistilBERT 怎么样
2021-12-11 本文已影响0人
孙庚辛
如果你真的需要推理速度快一点，可以接受代价是预测精度稍微下降那么一些的话，那么 DistilBERT 会是一个合适的选择，但是，如果你还在寻找最佳的预测性能，你最好使用 Facebook 的 RoBERTa。
从理论上讲，基于 XLNet 置换的训练应该能处理好依赖关系，并且可能在长期运行中能表现出更好的性能。
但是，Google 的 BERT 确实提供了良好的基线，如果你没有上述任何关键需求，就可以使用 BERT 维持系统的正常运行。
Transformer 101 个思考问题：
