doc特征结构化—query特征结构化

2016-08-04  本文已影响0人  活着活法

项目需求

结构化的目的:由于文档、query中的信息都是参数化是人可读,但机器不方便机器自动化处理,所以需要结构化。——结构化,为特征工程提供输入。经过特工程,就可以喂给模型进行训练了。

所谓结构化,是将原本不规整的数据,转换成规整的数据。例如:10万公里->10;1_2->102;parameter110:13->13;

需求分析:

1. 结构化的数据源,有HBASE ;OlineDB 。——数据内容分:doc数据;类目表、地域表等数据。

2.满足分布式;与多线程 两种场景

3.多个类目,三端app pc m 

4. 复用;解耦;方便测试——分布式场景,一般不方便测试

5.类似业务,架构统一,方便维护

6.配置简单

方案设计:

目录结构设计:

架构图:

类图:

时序图:

上一篇 下一篇

猜你喜欢

热点阅读