分享一次词典库构建的流程
2019-09-29 本文已影响0人
A_You
词典库的含义
在深度学习中,如何在其中融入知识是一个研究非常火热的课题。相比于 Bert, ERNIE中引入全词Mask,达到了 SOTA,这也是引入啦知识 。因此词典库在底层可以起到语义表达、消歧、推理等众多NLP task。
词典库构建
- 词类目划分
- 词属性定义
- 词条目存储
- 自定义词条的实现
- 词条检索
词典库首页
![](https://img.haomeiwen.com/i13705298/23fff2e2e6936155.png)
词典库-展示
![](https://img.haomeiwen.com/i13705298/0cb8db4e2842db54.png)
![](https://img.haomeiwen.com/i13705298/c3ee2317e3d8b1e1.png)
![](https://img.haomeiwen.com/i13705298/f5fc86add86a347b.png)
词典库类目
![](https://img.haomeiwen.com/i13705298/208041861486cf63.png)
![](https://img.haomeiwen.com/i13705298/38942ee20d849332.png)
![](https://img.haomeiwen.com/i13705298/4d19ee3f035505a1.png)
词条目展示
![](https://img.haomeiwen.com/i13705298/004035579c6c6fd0.png)
总结
这是 14年在校所做的基于图的词典库构建,同时在上面进行一些推理,的确是比较好玩, 同时发现哈工大版 大词林,的确是为底层的term赋予啦知识,在任何一个Nlp task中,所扮演的角色都是比较重要的。