elasticsearchElasticsearch

Elasticsearch人员搜索-人员建档

2018-04-10  本文已影响5人  达微

业务需求:

    不指定属性的,对现有数据源中的人员信息数据进行检索。

    根据数据源对人员进行类别标注,比如重点人员,可疑人员

    全文检索和碎片检索

应用场景:

    大型安保活动的人员核查,嫌疑人员摸排

数据源:

    常住人口库,暂住人口库,旅馆,网吧,火车订票,机票,水电费,社保,教师,学生,宗教人员,上访人员 等等

实现方式:

   kafka,flumeng,elasticsearch 搜素引擎

    存储结构主要是:

        NEST OBJECT嵌套结构,父子关联关系

    以人员身份证作为_id,将同一个人所有的记录整合成一个doc。或者有父子关联的doc,以方便检索

文档聚合的方式:

 1、 原库的信息,也增量的方式刷到kafka,然后又flumeNg 读取通过自定义Sink写到es中。

 2、elasticsearch 的_bulk 的api ,加上 groovy脚本,对同一个doc做更新。或者指定parent 的关联父子关系。

上一篇下一篇

猜你喜欢

热点阅读