特征抽取器
2019-08-08 本文已影响0人
dreampai
文本的特点：
- 文本是一个序列
- 文本长度不固定
- 文本的位置是个重要的信息
文本的任务：
- 序列标注
- 分类任务
- 句子关系判断
- 生成式任务
RNN
- RNN存在的问题：梯度消失和爆炸，LSTM-GRU-Attention
- 并行能力较差处理的方案有隐藏层之间并行，整体串行；时间序列部分打断，并行处理（类似于CNN）
CNN：
- 捕获 N-gram 片段，无法处理长距离
- 增加卷积层的（层深效果不佳，需要提高）
- 跳跃覆盖，Dilated卷积
- 抛弃池化层，保留位置信息
https://github.com/vdumoulin/conv_arithmetic
https://www.zhihu.com/question/54149221
https://zhuanlan.zhihu.com/p/54743941
