NLP技术全景图（内含思维导图）

思维导图如下，如有需求联系作者（免费发送！！）

自然语言处理.png

词法分析

分词

• 中文分词

  • 字典树

    • 二分搜索查找树

      • 首字哈希

    • 双数组字典树

      • 基于DAT的AC自动机

  • 扫描规则

    • 正向最长
    • 逆向最长
    • 双向最长

  • n元语法

    • 最短路径
    • N最短路径

  • 序列标注

• 英文分词

  • 空格切分
  • 有限状态自动机
  • byte pair encoding

词干提取

• 波特词干算法

词性还原

• 基于词典

词性标注

• Meta-BiLSTM
• Flair

命名实体识别

• 有限状态自动机

• 序列标注

  • 角色标注

  • IOBES标注

    • Bert
    • Flair
    • ELMo
    • CVT

句法分析

依存句法分析

• 基于图

  • Eisner算法
  • 最大生成树
  • Chu-Liu-Edmonds算法
  • BiAffine算法

• 基于转移

  • 转移系统

    • Arc-Standard
    • Arc-Eager
    • Arc-Swift
    • list-based Arc-Eager
    • Pseudo-Projective Parsing
    • Online Reordering

  • 学习策略

    • 静态规范
    • 动态规范

语义分析

词义消歧

• 监督学习

  • 传统方法

    • 互信息
    • 贝叶斯模型
    • 最大熵模型

  • 深度学习

    • Attention+BiLSTM
    • ELMo

• 无监督学习

  • Shotgun WSD
  • MCS Estimation

• 基于知识

  • 基于词典
  • Yarowsky算法

语义角色标注

• 传统方法

  • 基于短语结构树
  • 基于依存句法树
  • 基于语块

• 深度学习

  • ELMo
  • 联合学习谓词与论元

语义依存分析

• 基于图

  • BiAffine+Bert

• 基于转移

  • list-based Arc-Eager+Tree RNN

抽象语义表示

• Sequence-to-Graph Transducer

• 基于机器翻译

• 基于转移

  • AMREager
  • CAMR

• 基于图

  • JAMR

自然语言转SQL

• Seq2Seq
• 语义分析器

文本聚类

• 聚类算法
• 特征提取

文本分类

传统方法

• 分词

• 停用词过滤

• 特征选择

  • 卡方检验
  • 互信息

• 词袋向量

• 浅层学习

  • NB朴素贝叶斯
  • SVM支持向量机
  • KNN K近邻
  • DT决策树
  • RF随机森林

深度学习

• Recursive Neural Network 递归神经网络
• Graph Neural Network 图神经网络
• Fasttext
• XLNet
• Bert
• ULMFiT

情感分析

文本摘要

抽取式

• 无监督学习

  • TextRank
  • LexRank
  • TF-IDF

• 监督学习

  • 二分类模型

  • 序列标注模型

  • 回归排序模型

  • 深度学习

    • RNEs
    • SWAP-NET
    • Latent
    • HeterSumGraph

生成式

• Seq2Seq+Attention
• 指针网络(Pointer-Generator Network)
• Attention-Based Summarization
• 生成对抗网络(GAN)
• 关键信息指导网络(KIGN)
• 深度沟通代理(DCA)

主题模型

LSA

• 奇异值分解

LDA

• 马尔科夫链
• 吉布斯采样

自动编码器

受限玻尔兹曼机

语音识别

传统方法

• 傅里叶变换
• 倒谱均值归一化
• 声道长度归一化
• 声学模型
• 发音模型
• 隐马尔可夫模型
• n元语法

深度学习

• ContextNet
• 连接时序分类(connectionist temporal classification)
• LSTM-HMM
• 神经网络语言模型

内容推荐

协同过滤

• 欧氏距离
• 余弦距离
• Tanimoto 系数

深度学习

• RBM
• AE
• CNN
• RNN
• DSSM

基于知识

• 基于路径

  • HeteroMF
  • Hete-MF

• 基于嵌入

  • Node2vec
  • entity2vec
  • DKN
  • RKGE

• 基于混合

  • RippleNet
  • KGCN
  • KGAT

常识推理

Bert

XLNet

指代消解

类型

• 共指
• 回指
• 所指

规则系统

• 朴素Hobbs

统计方法

• Mention-Pair
• Mention-Ranking
• Entity-Mention

人机对话

对话行为分类

• CRF-ASN
• BiLSTM-CRF

对话状态跟踪

• Delexicalised RNN
• Neural Belief Tracker(NBT)
• 全局-局部自注意力(GLAD)
• Fully NBT

检索式回复机器人

• Poly Encoder
• Bert
• ELMO

生成式回复机器人

• TransferTransfo
• XNLG
• Seq2Seq

意图识别

• classification模型
• match模型

槽位填充

• Seq2Seq+Attention
• Event Schema Induction

语法纠错

Copy机制

• spellingcheck+transformer
• Copy-Augmented Transformer
• Confusionset guided Pointer Networks

MASK机制

• Transformer
• FASPell
• Soft-Masked BERT
• SpellGCN

关系预测

张量分解

• RESCAL

图神经网络

• RGCN
• KBAT

表示学习

• TransE
• TransH
• ConvE
• ConvKB

实体链接

实体消歧模型

• DeepType
• ELDEN
• DeepCosine

联合抽取模型

• end-to-end EL
• Stack-LSTM
• CDTE
• WAT

机器问答

基于知识

• Gated Graph Neural Networks
• Bidirectional Attentive Memory Networks
• KemQA

基于检索

• Denoising QA
• DecaProp

完形填空

• Attentive Reader
• Standford Reader
• Match-LSTM
• AoA Reader
• CoVe + DCN
• QANet
• Hierarchical Attention Flow
• GPT

信息抽取

名词短语规范化

• CESI

三元组抽取

• SPO定义

  • 主体subject
  • 客体object
  • 关系predicate

• Bert

  • R-Bert
  • Muti-Attention CNN

• CNN

  • CR-CNN
  • GCN

• RNN

  • Entity Attention Bi-LSTM
  • Hierarchical Attention Bi-LSTM

• 依存句法分析(dependency parsing)

  • BRCNN
  • SDP-LSTM
  • DepNN

语言模型

统计语言模型

• N-gram
• Pitman-yor过程

神经语言模型

• 神经网络语言模型(NNLM)
• RNN 语言模型(RNNLM)
• 双向语言模型(BiLM)
• AWD-LSTM
• Transformer-XL
• Gated CNN
• 预训练语言模型

词汇规范化

• MoNoise
• Joint POS + Norm in a Viterbi decoding
• Syllable based
• unLOL

自然语言推理

注意力机制

• BiLSTM-Attention
• 深度递归卷积网络(DRCN)
• Transformer

记忆增强

• 记忆网络(MemNN)
• 循环实体网络(ENTNET)
• 快速响应网络(Quick Response Network)
• 可微分神经计算机(DNC)
• 神经过程网络(NPN)

机器翻译

规则机器翻译

统计机器翻译

• IBM1
• IBM2
• IBM3
• IBM4
• 语言模型

神经机器翻译

• Seq2Seq

  • RNN
  • LSTM
  • GRU
  • ConvS2S

• Transformer

文本语义相似度

距离度量

• Levenshtein最小编辑距离
• Jaccard杰卡德相似度
• Cos余弦相似度

文本表示

• 特征建模

  • TF-IDF
  • BM25
  • SimHash
  • LSA
  • LDA

• 深层语义

  • Gensen
  • XLNet
  • 双塔模型(Siamese Network)

• 复杂交互

  • MatchPyramid
  • ESIM(Enhancing Sequential Inference Model)
  • BiMPM(Bilateral multi-perspective matching model)
  • MWAN(Multiway Attention Networks)

词嵌入Embedding

语境相关/动态

• ELMO
• Flair
• Bert
• XLNet

语境无关/静态

• Word2vec
• Glove
• Fasttext

知识图谱Knowledge Graph

机器学习

监督学习

• 隐马尔可夫模型

• 最大熵模型

• 条件随机场

• 结构化感知机

• 感知机

• 逻辑回归

• 朴素贝叶斯法

• K近邻

• 决策树

• 支持向量机

• 神经网络

  • 网络模块

    • 全连接神经网络

    • 卷积神经网络

      • 池化层
      • 卷积层

    • 循环神经网络

      • RNN
      • GRU
      • LSTM
      • Stacked LSTM
      • Highway Connection

    • 递归神经网络

      • Tree-RNN
      • Syntactically-United RNN
      • Matrix-Vector RNN

    • 注意力神经网络

      • Soft Attention
      • Multi-Head Attention
      • Hierarchical Attention Model
      • Transformer

    • 图神经网络

      • GNN
      • GCN
      • GAT

  • 激活函数

    • Softmax
    • elu
    • selu
    • softplus
    • softsign
    • relu
    • tanh
    • sigmoid

  • 初始化

    • 正态分布
    • 均匀分布
    • 常数初始化
    • 正交初始化

  • 优化器

    • SGD
    • RMSprop
    • Adagrad
    • Adadelta
    • Adam
    • Adamax
    • Nadam

  • 训练策略

    • dropout
    • word dropout
    • variational dropout
    • 正则化
    • 对抗训练

无监督学习

• 聚类分析

  • 估计聚类数量

    • gap statistic
    • 平方误差和
    • 轮廓系数

  • 聚类算法

    • K Means
    • 重复二分法
    • DBSCAN
    • 层次聚类法HAC

• 概率密度估计

  • 异常检测
  • 对抗神经网络
  • 自动编码器
  • 受限玻尔兹曼机

• 可视化

  • PCA
  • t-SNE

半/自监督学习

• Self-Training

  • LM

    • ELMo
    • GPT
    • UNiLM

  • MLM

    • Bert
    • SpanBert
    • XLM
    • MASS
    • T5

  • PLM

    • XLNet

  • 去噪自编码器DAE

    • Bart

  • 对比学习CTL

    • RTD

      • CBOW-NS
      • ELECTRA

    • NSP

      • Bert
      • UNiLM

    • SOP

      • ALBert
      • StructBert

  • 知识增强

    • 向量融合

      • ERNIE
      • KnowBert
      • Bert-MK

    • 知识监督

      • WKLM
      • LIBert
      • GLM

    • 结构统一

      • K-Bert
      • CoLAKE

    • 联合训练

      • KEPLER
      • K-ADAPTER

    • 知识检索

      • FaE
      • REALM

• Co-Training

• 半监督SVM

• 生成式模型

• 图半监督学习

• 主动学习

强化学习

• Model-free

  • Q learning
  • Sarsa
  • Policy Gradients

• model-based

  • Model-Based Policy Optimization
  • MB-MPO