Elasticsearch之聚合查询
在数据库领域，借助SQL我们可以获取表中的最大值(Max)、最小值(Min)，还可以对数据进行分组(Group)。在ES中使用聚合（Aggregations）来实现类似的功能，而且比SQL更灵活、更强大。
ES 7中，将聚合分为四类：
-
指标聚合（Metrics Aggregations）: 一些数学运算，可以对文档字段进行统计分析，如计算最大值、最小值、平均值等，类似于SQL中的
COUNT()、SUM()、MAX()等统计方法 -
桶聚合（Bucket Aggregations）: 满足特定条件的文档分组，类似SQL中的
GROUP BY - 管道聚合（Pipeline Aggregations）: 管道分析类型，基于上一级的聚合分析结果进行在分析，工作在其他聚合计算结果而不是文档集合的聚合
- 矩阵聚合（Matrix Aggregations）: 操作多个字段并根据从请求的文档字段中提取的值生成矩阵结果
实际开发中，指标聚合和桶聚合用途很广泛，而管道聚合和矩阵聚合是带有实验性质的功能，很少使用。
1、指标聚合
按照输出结果的数量，指标聚合可以分为两类：
-
单值分析，只输出一个分析结果：
- Min：最小值
- Max：最大值
- Avg：平均值
- Sum：累加值
- Cardinality：不同数值的个数，相当于 SQL 中的 distinct
-
多值分析，输出多个分析结果：
- Stats：样的数据分析，可以一次性得到最大值、最小值、平均值、中值等数据
- Extended Stats：是对 Stats 的扩展，包含了更多的统计数据，比如方差、标准差等
- Percentiles：按从小到大累计每个值对应的文档数的占比，返回指定占比比例对应的值
- Percentile Ranks：Percentiles是通过百分比求文档值，Percentile Ranks是通过文档值求百分比
- Top Hits：一般用于分桶后获取桶内最匹配的顶部文档列表
计算最大值：
{
"aggs":{
"max_price":{
"max":{
"field":"price"
}
}
}
}
可以与query结合使用，比如先过滤，再求和：
{
"query":{
"constant_score":{
"filter":{
"match":{
"type":"hat"
}
}
}
},
"aggs":{
"hat_prices":{
"sum":{
"field":"price"
}
}
}
}
再来看一下Percentiles与Percentile Ranks的用法。假如有一批消费者数据，其中有一个字段记录了日均消费金额，现在想知道日均消费金额的分布占比情况：
{
"size":0,
"aggs":{
"money_stat":{
"percentiles":{
"field":"money"
}
}
}
}
返回结果：
{
...
"aggregations": {
"money_stat": {
"values" : {
"1.0": 5.0,
"5.0": 25.0,
"25.0": 165.0,
"50.0": 445.0,
"75.0": 725.0,
"95.0": 945.0,
"99.0": 985.0
}
}
}
}
默认按照[ 1, 5, 25, 50, 75, 95, 99 ]来统计。
统计结果反映：1%的人消费金额在5元以内、5%的人消费金额在25元以内......95%的人消费金额在945元以内、99%的人消费金额在985元以内。
如果想知道日均消费金额在500以内以及600以内的人群占比是多少呢？可以使用Percentile Ranks来统计：
{
"size":0,
"aggs":{
"money_ranks":{
"percentile_ranks":{
"field":"money",
"values":[
500,
600
]
}
}
}
}
返回结果：
{
...
"aggregations": {
"load_time_ranks": {
"values" : {
"500.0": 55.1,
"600.0": 64.0
}
}
}
}
统计结果反映：日均消费金额在500以内比为55.1%，日均消费金额在600以内的人群占比为64%。
结合桶聚合，还可以更复杂的统计，例如，根据工作类型分桶，然后按照性别分桶，计算每个桶中工资的最高的薪资：
{
"size":0,
"aggs":{
"Job_gender_stats":{
"terms":{
"field":"job.keyword"
},
"aggs":{
"gender_stats":{
"terms":{
"field":"gender"
},
"aggs":{
"salary_stats":{
"max":{
"field":"salary"
}
}
}
}
}
}
}
}
返回结果：
0.png
2、桶聚合
准备一组汽车销售数据用于测试，包含汽车的价格、颜色、品牌、销售时间：
POST /cars/_bulk
{ "index": {}}
{ "price" : 80000, "color" : "red", "brand" : "BMW", "sellTime" : "2014-01-28" }
{ "index": {}}
{ "price" : 85000, "color" : "green", "brand" : "BMW", "sellTime" : "2014-02-05" }
{ "index": {}}
{ "price" : 120000, "color" : "green", "brand" : "Mercedes", "sellTime" : "2014-03-18" }
{ "index": {}}
{ "price" : 105000, "color" : "blue", "brand" : "Mercedes", "sellTime" : "2014-04-02" }
{ "index": {}}
{ "price" : 72000, "color" : "green", "brand" : "Audi", "sellTime" : "2014-05-19" }
{ "index": {}}
{ "price" : 60000, "color" : "red", "brand" : "Audi", "sellTime" : "2014-06-05" }
{ "index": {}}
{ "price" : 40000, "color" : "red", "brand" : "Audi", "sellTime" : "2014-07-01" }
{ "index": {}}
{ "price" : 35000, "color" : "blue", "brand" : "Honda", "sellTime" : "2014-08-12" }
3、查看是否成功
2.1 Terms Aggregation
基于某个field，该 field 内的每一个唯一词元为一个桶，并计算每个桶内文档个数。默认返回顺序是按照文档个数多少排序。需要注意的是，生产环境中数据一般是分布在多个分片上，当不返回所有 buckets 时（由size控制），文档个数可能不准确。
按照汽车品牌聚合，按照数量排序，只返回前三名：
{
"aggs":{
"genres":{
"terms":{
"field":"brand",
"order":{
"_count":"asc"
},
"size":3
}
}
}
}
返回结果：
1.png
2.2 Filter Aggregation
Terms Aggregation 的基础上进行了过滤，只对特定的值进行了聚合。
过滤获取品牌为BMW的桶，并求该桶平均值：
{
"aggs":{
"brands":{
"filter":{
"term":{
"brand":"BMW"
}
},
"aggs":{
"avg_price":{
"avg":{
"field":"price"
}
}
}
}
}
}
返回结果：
2.png
如果想要指定多个过滤条件，可以使用Filters Aggreagation：
{
"size":0,
"aggs":{
"cars":{
"filters":{
"filters":{
"colorBucket":{
"match":{
"color":"red"
}
},
"brandBucket":{
"match":{
"brand":"Audi"
}
}
}
}
}
}
}
返回结果：
3.png
2.3 Histogram Aggreagtion
直方图聚合，与Terms聚合类似，都是数据分组，区别是Terms是按照Field的值分组，而Histogram可以按照指定的间隔对Field进行分组。
根据价格区间为10000分桶：
{
"aggs":{
"prices":{
"histogram":{
"field":"price",
"interval":10000
}
}
}
}
返回结果：
4.png
2.4 Range Aggregation
范围聚合，根据用户传递的范围参数作为桶，进行相应的聚合。在同一个请求中，可以传递多组范围，每组范围作为一个桶。
根据价格区间分桶：
{
"aggs":{
"price_ranges":{
"range":{
"field":"price",
"ranges":[
{
"to":50000
},
{
"from":5000,
"to":80000
},
{
"from":80000
}
]
}
}
}
}
返回结果：
5.png
2.5 Nested Aggregation
一个特殊的single bucket（单桶）聚合，可以聚合嵌套的文档
例如，假设我们有一个产品的索引，并且每个产品都包含一个分销商列表——每个产品都有自己的价格。映射可能是:
{
...
"product" : {
"properties" : {
"resellers" : { ＃1
"type" : "nested",
"properties" : {
"name" : { "type" : "text" },
"price" : { "type" : "double" }
}
}
}
}
}
resellers是一个在product对象下保存嵌套文档的数组。
以下汇总将返回可以购买的最低价格产品：
{
"query" : {
"match" : { "name" : "led tv" }
},
"aggs" : {
"resellers" : {
"nested" : {
"path" : "resellers"
},
"aggs" : {
"min_price" : { "min" : { "field" : "resellers.price" } }
}
}
}
}
如上所述，嵌套聚合需要顶层文档中嵌套文档的路径。 然后可以在这些嵌套文档上定义任何类型的聚合。
响应结果：
{
"aggregations": {
"resellers": {
"min_price": {
"value" : 350
}
}
}
