第16天 摘抄+心得 “自然语言处理”

2019-11-01  本文已影响0人  Erica早
...top-k方法简单有效,但是k的选取似乎不是那么直观。而另外一种top-p sampling方法就显得更加的直观了。它提出的理由跟上述一样,也是为了解决长尾分布词的问题。但是它对分布进行truncated的方式与top-k不太一样,它的思想是先将词根据概率进行排序,然后将这些词的概率逐个累加,直到概率累加和大于等于设定的阈值p就停止。
作者:邱震宇
来源:知乎

这是一大段关于NLP(自然语言处理)的解题思路中的一部分。我并不能看懂术语,但数学思维还是挺有意思的,似乎也能解决不少问题,然后我查询了“自然语言处理算法工程师”的职位描述,觉得是做Marketing以及很多工作中很有用的一环。

只看逻辑的话,其实没有那么复杂。数学公式和语言学概念只是嵌套,即使学的话,可能我的智商会成为问题,也可能不会。

又开了一个脑洞呢。

1、对海量业务数据进行处理和分析,发现和跟踪其中的问题;
2、从业务和产品的角度出发,利用数据来发现产品、系统或是业务的瓶颈,并提出优化的方案;
3、辅助自然语言处理核心算法或功能模块的设计、开发等端到端开发任务;
4、运用知识图谱中文文本挖掘算法,创建领域知识图谱,负责基于知识图谱的检索优化。

↑NLP算法工程师的职位要求

上一篇 下一篇

猜你喜欢

热点阅读