elasticsearch-进阶2
本文的主要内容是笔者阅读《ELK stack权威指南》和《深入理解ElasticSearch》的笔记，这两本书在都微信阅读可搜到(吐槽下微信阅读，只能在移动端阅读，费眼睛啊)。这两本书使读者对于ES有了更深刻的认识，在阅读中，也纠正了笔者一些错误的“自以为是”。
outline
- 底层索引控制
- Elasticsearch分布式索引架构设计
- 理解ES的缓存
- 改善用户的搜索体验
- 关于ES的others
底层索引控制
准实时搜索的实现
以在线动态服务的层面看，要做到实时更新条件下数据的可用和可靠，就需要在倒排索引的基础上再做一系列更高级的处理
新收到的数据写到新的索引文件里。Lucene把每次生成的额倒排索引叫做一个段(segment)
image
ES动态更新的过程--实现准实时索引的原理
- 新数据进入内存buffer
- 内存buffer生成一个segment刷到文件系统缓存--此时Lucene可以检索到这个segment
- 文件缓存刷到磁盘，commit更新（Search实例重新打开） ---refresh
image
refresh：
通过API可强制刷新
默认刷新间隔-1s
tarnslog(事务日志)
在refresh发生的时候，事务日志日志保持原样--保证数据不丢失
等到refresh发生后，事务日志才清空--flush
事务日志刷新--确保数据正确写入索引并清空事务日志
通过APi可强制刷新
默认flush间隔--30min或者事务日志文件>=512M
刷新设置：period，ops(操作数),size(日志容量)
实时读取(readl-time GET)：
从事务日志中读取
在ES中，索引是个集群概念，Lucene索引对应一个分片
控制索引合并-segment merging
段合并的主要代价---I/O操作和CPU
段合并策略
- tiered策略--默认-合并大小相似的索引段
- log byte size 基于索引段的字节数
- log doc 基于索引段的文档书
段合并策略的执行方式
- 并发合并调度器：每次开启新线程直到线程数达到上限 通过设置max_thread_count
- 顺序合并调度器：只使用同一个线程执行所有的索引合并操作
段合并的过程
- 如图，未完成的较大segment被排除在检索可见范围内
- 归并完成后，较大的segment刷到磁盘，commit文件变更
image
image
Elasticsearch分布式索引架构设计
只有了解ES的索引架构，才能够更好的使用ES，优化性能！
副本一致性-replica + shard
默认5个分片，一个副本
最理想的分片数量依赖于节点的数量
节点最大数=分片数(副本数+1)
多分片-多索引：一次查询可以分配到不同的索引！！
或者使用别名，让多个索引看起来像一个索引
分片处理使我们能够存储超过单机容量的数据
副本解决了日渐增长的吞吐量和数据安全方面的问题
路由-routing
路由是限定查询在单个分片上执行的一个解决方案
shard=hash(routing) % number_of_primary_shards
取余
索引的主分片数不可以随意修改
索引时使用路由
路由是优化集群的一个很强大的机制
别名
分片分配器
分片策略-ShardAllocator(分片分配器-接口)
- even_shard--确保每个节点上具有相同数量的分片
- balanced(默认)
- 自定义
裁决者 decider
理解ES的缓存
过滤器缓存
- 索引级缓存--不建议
- 节点级缓存(默认)--基于LRU
字段数据缓存-最重要
- 索引级 -- 不建议
- 节点级(默认)
应用范围是切面计算和排序
加载相关字段的全部数据到内存中
代价较高
ES允许我们有选择的将某些字段加载到字段数据缓存--字段数据缓存过滤
- 基于词频
- 基于正则表达式
- 基于两者的结合
引入字段数据缓存过滤：
- 添加fielddata对象
-
子对象filter
image
ES的故障处理
故障可能发生的原因
- Java垃圾回收
- 内存交换--指内存中的页(page)写入磁盘(Linux系统指swap分区)
- 控制I/O 主要是索引的合并
eg.只在节点上进行索引合并 - 使用预热器提升查询速度--预热器是一些提前执行的标准查询
不适合索引频繁更新的情况 - 热点线程--hot_threads
Java内存模型
- Eden区--Java初次分配的大部分对象都在该区域
- Survivor区（分为0区和1区）--该区域储存Eden区垃圾回收后仍然存活的对象
- 年老代--存储在survivor区存活较长时间的对象
- 持久代-非堆空间，存储所有JVM自身的数据
- 代码缓存区
Eden区和Survivor可以合称为年轻代
分代垃圾回收机制
改善用户的搜索体验
自动纠错 suggest API
- term suggester
- phrase suggester
- autoconplete
改善相关性搜索
这一部分可以参考我之前的文章
搜索-Elasticsearch-进阶1
关于ES的others
reroute接口---控制分片选择
节点下线--transient
ES的读写分离
参考资料
- 《ELK stack权威指南》
- 《深入理解ElasticSearch》拉斐尔·酷奇（Rafa Ku） 马雷克·罗戈任斯基（Marek Rogoziński）
