五十三、Elasticsearch聚合分析--fielddata

1、fielddata核心原理

fielddata加载到内存的过程是lazy加载的，对一个analyzed field执行聚合时，才会加载，而且是field-level加载的。

一个index的一个field，所以doc都会被加载，而不是少数doc。
不是index-time创建，而且query-time创建

2、fielddata内存限制

indices.fielddata.cache.size：20%，超出限制，清除内存已有fielddata数据。这个是写到es.yml里的

fielddata占用的内存超出了这个比例的限制，那么就清除掉内存中已有的fielddata数据。

默认无限制，限制内存使用，但是会导致频繁evict和reload，大量IO性能损耗，以及内存碎片和gc

3、监控fielddata内存使用情况

GET /_stats/fielddata?fields=*
GET /_nodes/stats/indices/fielddata?fields=*
GET /_nodes/stats/indices/fielddata?level=indices&fields=*

4、circuit breaker

如果一次query load的feilddata超过总内存，就会oom --> 内存溢出

circuit breaker会估算query要加载的fielddata大小，如果超出总内存，就短路，query直接失败

indices.breaker.fielddata.limit：fielddata的内存限制，默认60%
indices.breaker.request.limit：执行聚合的内存限制，默认40%
indices.breaker.total.limit：综合上面两个，限制在70%以内

也是配置到es.yml中的

若有兴趣，欢迎来加入群，【Java初学者学习交流群】：458430385，此群有Java开发人员、UI设计人员和前端工程师。有问必答，共同探讨学习，一起进步！
欢迎关注我的微信公众号【Java码农社区】，会定时推送各种干货：

qrcode_for_gh_577b64e73701_258.jpg