竞争时代下的逆流

2021-02-21  本文已影响0人  晓在IT

先前都任务只要现在努力学习,就可以顺利“逆袭”。但在人工智能时代,“人工智能时代存在一个人类价值体现方式变革的问题”。换句话说,如果我们依旧指望课本里的那些知识求生存,不求创新,不求探索,那么对知识掌握得再好,也只是拾人牙慧,只能湮没于滚滚的历史车轮之下。
这始终激励自己出了掌握基础知识,需要对多种知识进行组合和运用。而我们一直感觉比较玄乎的人机回话,离不开语音、文本的翻译。但众多知识离不开如下的基础知识,而正是因为有了这些基础知识,再加上各位不断创新,给大家带来一波又一波的AI应用。


image.png

1、输入数据
自然语言处理系统的输入源一共有3个,即语音、图像与文本。1,语音和图像虽然正引起越来越大的关注,但受制于存储容量和传输速度,它们的信息总量还是没有文本多。一旦转化为文本,就可以进行后续的NLP任务。
2、词法分析
对中文而言,词法分析常常是后续高级任务的基础。词法分析的主要任务是将文本分隔为有意义的词语(中文分词),确定每个词语的类别和浅层的歧义消除(词性标注),并且识别出一些较长的专有名词(命名实体识别)。
3、句法分析
词法分析只能得到零散的词汇信息,计算机不知道词语之间的关系。在一些问答系统中,需要得到句子的主谓宾结构。不仅是问答系统或搜索引擎,句法分析还经常应用于基于短语的机器翻译,给译文的词语重新排序。
4、语义分析
相较于句法分析,语义分析侧重语义而非语法。它包括词义消歧、语义角色标注、语义依存分析。
5 、信息抽取
词法分析之后,文本已经呈现出部分结构化的趋势。至少,计算机看到的不再是一个超长的字符串,而是有意义的单词列表,并且每个单词还附有自己的词性以及其他标签。根据这些单词与标签,我们可以抽取出一部分有用的信息,从简单的高频词到高级算法提取出的关键词,从公司名称到专业术语,其中词语级别的信息已经可以抽取不少。
6、文本分类与文本聚类
将文本拆分为一系列词语之后,我们还可以在文章级别做一系列分析:文本分类。文本聚类。
7、其他高级任务

上一篇下一篇

猜你喜欢

热点阅读