NLP是什么

NLP： Natural Language Processing

NLP = NLU + NLG

NLP包含自然语言理解和自然语言生成，自然语言理解是指根据给出的文本或者语音能够正确理解它的意思；生成是指能够根据意思进行交流。

为什么NLP难？

NLP的挑战是：表达方式多、一词多义，这里举几个例子：

1. 表达方式多

2. 今天不去公园了，明天去，今天有事；

3. 今天有事所以不去公园了，明天去；

4. 我明天去公园，因为我今天有事。

5. 一词多义

6. 我有一个苹果手机；

7. 我去公园偷了一个苹果（投的是真的苹果还是苹果手机呢？需要结合上下文）；

那么怎么解决NLP的这些问题？

唯一的答案是合理地从数据学习。

NLP有哪些应用场景？

问答系统

image

<figcaption class="Image-caption" style="margin-top: 0.66667em; padding: 0px 1em; font-size: 0.9em; line-height: 1.5; text-align: center; color: rgb(153, 153, 153);">问答系统</figcaption>

情感分析

用于舆情监控、评论分析，一般步骤为：

情感分析的一般步骤

机器翻译

中英机器翻译

摘要提取

摘要提取

聊天机器人

聊天机器人

处理这些NLP的关键技术有哪些？

处理以上这些问题的关键技术有四个维度：semantic语义、syntax句子结构、morphology单词、phonetics声音。

涉及的技术有：

word segmentation分词

给句子分词

image

part-of-speech词性

找到句子中每个词的词性

image

named entitiy recognition命名实体识别

image

parsing句法分析

image

dependency parsing依存分析

分析句子结构

image

relation extraction关系抽取

image