自然语言处理（NLP），就是将语言文字转化为计算机可以听得懂的机器语言，一般需要以下几个步骤。

1、语料获取

语料的来源一般有：

(1)大厂公开的已经建立好的开放语料库；

(2)利用python等工具从网页上爬取的内容；

(3)公司自己的内部数据。

2、文本预处理

去除非文本信息，如网页上爬取来的一些标记符号，标点符号等；

分词，英文单词之间有间隔，因此很好区分开来，一般情况下只需要调用split()函数即可，但是中文单词之间没有间隔，需要首先进行分词处理，一般有基于规则和基于统计这两种方法。下面简单介绍一下这两种方法。

基于规则就是按照预先建立好的分词词典和分词规则库，配合字符串匹配。缺点就很明显，需要耗费大量的精力建立词典库，如果词典库容量小，则会导致词语查找覆盖率低。

一般有正向最大匹配，反向最大匹配以及双向最大匹配。

正向最大匹配（FMM）简言之，就是假设词典库中最大词长长度为m，那么就在待分词语料中正向取长度为m的字符串，与词典库进行匹配，如果匹配成功，则指针正向向前移动m，重复此步骤，如果匹配不成功，则将字符串最后一个字符删除，剩下的词作为新的字符串进行匹配，重复上述步骤，直到所有词划分完毕。

显然，正向最大匹配的优点在于算法简单，但是缺点就是因此没有分析上下文之间的关系，因此无法检测歧义词语。

反向最大匹配（RMM）的原理和FMM类似，就是方向反过来，是从末端取长度为m的字符串，如果不匹配，则去掉最前面的那个字，剩下的继续匹配，直至所有词划分完毕。

反向最大匹配的优缺点与正向最大匹配类似。

双向最大匹配（Bi-MM)

双向最大匹配是将正向和反向匹配结果进行比较，会有以下几种场景：

a.两者结果相同,且分词正确（据统计，占据90%情形）；

b.两者结果不同但是必有一个是正确的（占据9%的情形）；

c.两者结果相同但是都是错误的或者两者结果不同但是都不正确（歧义检测失败）（1%）。

依据以下原则选取划词的最终结果：

（1）两者之中词数少的；

（2）如果两者词数相同：

且结果一致，则任选一个；

结果不一致，则选择单字个数少的。

可以看出，双向最大匹配法综合了正向与反向匹配的结果，因此效果较好，但同时算法复杂度提高，另外，因为需要正反向同时匹配，因此词典设置更复杂。

【补充】m的值如何确定

m值设置过大，算法检测时间过长，m设置过小，则无法检测出长度超过m的词语，造成长词丢失。目前有了根据中文分词词典中词语长度动态确定截取待处理文本长度的思想。可查阅参考文献

基于统计，简单说就是如果相连的词在文本中出现的次数越多，就越证明相连的字就是一个词语。

包括以下两个步骤：

(1)建立语言模型；

(2)对句子进行单词划分，针对不同的划分方式计算句子生成概率，选取概率最大的分词方式，需要用到统计学习算法，如常见的隐马尔科夫模型（HMM）和条件随机场模型（CRF）。

语言模型

假设S代表长度为i，字序列为（w1,w2,...wi)生成的句子，则句子生成概率为p(s)=p(w1)*p(w2|w1)*...*p(wi|w1,w2,...wi-1),即每一个字生成的概率都与之前的字有关，但是显然，计算量非常大，一次可以利用马尔科夫假设，即当前字只与它之前的n-1个字有关，此时p(s)=p(wi|wi-1,wi-2,...w(i-n+1)),为n元语言模型，n-1阶马尔科夫模型。实际计算的时候一般用统计频数的方法计算概率。

隐马尔科夫模型（HMM）

通过序列标注来进行词语划分，基本思想是每一个字在构造句子中都有一个特定的位置即词位，可以用B（词首），M（词中），E（词末），S（单字）进行标注，词位序列代表着HMM中隐藏的序列，而文本则为可见的观测序列，问题转化为已知观测序列，求解隐藏序列。采用已人工标注的有监督方法训练HMM模型，求解模型初始状态概率，状态转移概率以及发射概率。

去除停用词

如”a","the"等冠词，介词以及代词，对于英文停用词，可以直接使用nltk中提供的停用词表；中文停用词，nltk不支持，需要自己手动梳理出中文停用词，常见的中文停用词已有数据整理，大家可以自行查阅下载。

词干提取（stemming)与词型还原（lemmatization)

针对英文文本，两者都是找到词的原始形式，区别在于词型还原只将能够还原成一个词语的的词进行处理，而经过词干提取处理后，可能得到的不是一个词语，如

英文中大小写转换，可以有效减少词语数量

3、特征处理

经过上述步骤，基本已经得到比较干净的文本，就可以进行文本特征提取工作了。

一般有词袋模型，n-gram模型以及词向量模型

词袋模型（bags of words)

Tf-idf（Term Frequency-Inverse Document Frequence)方法

TF（Term Frequecy）衡量一个单词在文档中出现的次数，TF= (term出现在文档中的次数)/(文档中单词的总数)

IDF（Inverse Document Frequency）衡量单词的重要性,IDF= loge(文档总数/含有term的文档总数)

TF-IDF= TF * IDF 对每个单词进行统计和计算，就可以得到每个单词的TF-IDF的值，用这个值来代替这个单词，整个句子就变成了一个浮点数的List。

N-gram模型

词袋模型不考虑词序问题，N-gram模型是一种基于概率的判别模型，一般N=2或者N=3就够用了。它的输入为有序的词语序列（一句话），输出为句子的概率，即这些词语的联合概率。例如,"I love deep learning"，可以分解的 Bi-gram 和 Tri-gram ：Bi-gram : {I, love}, {love, deep}, {love, deep}, {deep, learning}，Tri-gram : {I, love, deep}, {love, deep, learning}

word2vector(词向量），词向量模型就是将词语转化为稠密的词向量，并且具有相近意义的词语的词向量距离相近。

CBOW（Continuous Bag-Of-Words）：利用词的上下文预测当前的词。

Skip-Gram：利用当前的词来预测上下文。