前言

ES大家可能都不陌生，它是一个高效的搜索引擎，可以帮助我们快速存储、搜索大量数据。

我工作中负责的模块之一，是一个核心存储服务，我们业务的数据通过这个服务存储到MySQL中，并向内部系统提供查询能力。我们主要数据被拆分成了两张表，因此面对各种各样的查询需求，如果只依赖MySQL本身的查询能力查询，会遇到几个问题：
1.如果需要查询的字段或者查询条件分别在两张表中，那么就需要联表查询。我们一般是不推荐join查询的。因为join的效率较低，如果数据量大的话，查询速度很难保证。

2.如果为了加快查询速度，最好对需要查询的字段建索引。那么作为底层存储服务，面对的查询需求是各种各样的，极端点的可能就是每个字段都可能需要被查询，如果对每个字段建立索引，会增加索引变更的维护成本，并且更多的索引需要占用的空间也更多，因此一般是不推荐表中索引列太多的。即时是只对高频查询字段建立索引，索引列的量仍然不少。

因此我们团队的解决方案是在ES中维护一份与数据库中一致的数据，存储的内容就是各种查询需求需要的字段和我们的唯一业务ID，即订单号。查询时先在ES中查出所有符合条件的订单号，再根据订单号从数据库的两张表中分别查出需要的数据返回。

实例

下面总结一些工作中遇到的比较棘手的查询需求

例1

有两个时间字段,order_datetime、order_create_time，以yyyy-MM-dd HH:mm:ss格式存储，需要查出所有符合order_datetime比order_create_time大30min的订单

解决方案：用脚本查询

Java实现如下：

        BoolQueryBuilder queryRequest = new BoolQueryBuilder();
        String scriptStr = "(doc['order_datetime'].value.getMillis() - doc['order_create_time'].value.getMillis())/(3600000.0/60) > 30"
        Map<String, Object> params = new HashMap<>();
        Script script = new Script(ScriptType.INLINE, "painless", scriptStr, params);
        ScriptQueryBuilder scriptQueryBuilder = new ScriptQueryBuilder(script);
        queryRequest.must(scriptQueryBuilder);

        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        searchSourceBuilder.query(queryRequest);
        searchSourceBuilder.fetchSource(false);
        SearchRequest searchRequest = new SearchRequest();
        searchRequest.source(searchSourceBuilder);
        searchRequest.indices(Constants.ES_ORDER_INDEX);

        searchResponse = restHighLevelClient.search(searchRequest);

DSL:

{
    "from": 0,
    "size": 10,
    "query": {
        "bool": {
            "must": {
                "script": {
                    "script": {
                        "source": "(doc['order_datetime'].value.getMillis() - doc['create_time'].value.getMillis())/(3600000.0/60) >= 30",
                        "lang": "painless"
                    },
                    "boost": 1.0
                }
            }
        }
    },
    "_source": false
}

例2

某个字段price_plan有几种可能的值：1,2,3,4或null，为null的含义与为1相同。查询时的入参为多个值，如[2,3]表示查询出所有price_plan = 2或price_plan=3的数据，[1,4]表示查出所有price_plan = 1或price_plan=4或price_plan为空的数据。null的含义与为1相同是带来麻烦的核心点。

Java：

        BoolQueryBuilder queryRequest = new BoolQueryBuilder();
        if (!CollectionUtils.isEmpty(request.getPricePlan())) {
            BoolQueryBuilder queryShould = new BoolQueryBuilder();
            queryShould.should(new TermsQueryBuilder("price_plan", request.getPricePlan()));

            // 如果查询1，则应该把null也查出来
            if (request.getPricePlan().contains(1)){
                BoolQueryBuilder queryExist = new BoolQueryBuilder();
                ExistsQueryBuilder existsQueryBuilder = QueryBuilders.existsQuery("price_plan");
                queryExist.mustNot(existsQueryBuilder);
                queryShould.should(queryExist);
            }

            queryRequest.must(queryShould);
        }

        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        searchSourceBuilder.query(queryRequest);
        searchSourceBuilder.fetchSource(false);
        SearchRequest searchRequest = new SearchRequest();
        searchRequest.source(searchSourceBuilder);
        searchRequest.indices(Constants.ES_ORDER_INDEX);

        searchResponse = restHighLevelClient.search(searchRequest);

DSL:

{
    "from": 0,
    "size": 10,
    "query": {
        "bool": {
            "must": [{
                "terms": {
                    "order_status": [0],
                    "boost": 1.0
                }
            }, {
                "bool": {
                    "should": [{
                        "terms": {
                            "price_plan": [1, 3, 2],
                            "boost": 1.0
                        }
                    }, {
                        "bool": {
                            "must_not": [{
                                "exists": {
                                    "field": "price_plan",
                                    "boost": 1.0
                                }
                            }],
                            "adjust_pure_negative": true,
                            "boost": 1.0
                        }
                    }]
                }
            }]
        }
    },
    "_source": false
}