Java进阶-Elasticsearch
一、参考资料
Elasticsearch-基本介绍
Spring Boot整合Elasticsearch
Elasticsearch 如何做到快速检索 - 倒排索引的秘密
lucene字典实现原理——FST
关于Lucene的词典FST深入剖析
二、基本概念
- 索引index：存储document文档数据的结构，类似于关系型数据库中的数据库
- 类型type：用于存储document的逻辑结构，相对于index来说，type是index的下级，类似于关系型数据库中的表
- 文档document：json格式，类似于关系型数据库中的行数据
三、倒排索引
image.png
3.1 FST（Finite State Transducers）
- 一种有限状态转移机。
- 空间占用小。通过对词典中单词前缀和后缀的重复利用，压缩了存储空间。
- 查询速度快。O(len(str))的查询时间复杂度。
对“cat”、“deep”、“do”、“dog”、“dogs”这5个单词进行插入构建FST（注：必须已排序）
image.png
3.2 postings list - Frame of Reference（FOR）
PostingList会使用Frame Of Reference（FOR）编码技术对里边的数据进行压缩，节约磁盘空间。
image.png
3.3 Roaring Bitmaps (for filter cache)
PostingList使用Roaring Bitmaps来对文档ID进行交并集操作。节省空间，快速得出交并集的结果。
image.png
将doc id拆成高16位，低16位。对高位进行聚合 (以高位做 key，value 为有相同高位的所有低位数组)，根据低位的数据量 (不同高位聚合出的低位数组长度不相同)，使用不同的 container(数据结构) 存储。
- len<4096 ArrayContainer 直接存值
- len>=4096 BitmapContainer 使用 bitmap 存储
分界线的来源：value 的最大总数是为2^16=65536. 假设以 bitmap 方式存储需要 65536bit=8kb,而直接存值的方式，一个值 2 byte，4K 个总共需要2byte*4K=8kb。所以当 value 总量 <4k 时,使用直接存值的方式更节省空间。
image.png
空间压缩主要体现在:
- 高位聚合 (假设数据中有 100w 个高位相同的值,原先需要 100w2byte,现在只要1*2byte)
- 低位压缩
3.4 skip list
如果查询的 filter 没有缓存，那么就用 skip list 的方式去遍历磁盘上的 postings list。
image.png
首先选择最短的 posting list，逐个在另外两个 posting list 中查找看是否存在，最后得到交集的结果。遍历的过程可以跳过一些元素，比如我们遍历到绿色的 13 的时候，就可以跳过蓝色的 3 了，因为 3 比 13 要小。
四、数据操作
一个Elasticsearch集群会有多个Elasticsearch节点，所谓节点实际上就是运行着Elasticsearch进程的机器。在众多的节点中，其中会有一个Master Node，它主要负责维护索引元数据、负责切换主分片和副本分片身份等工作，如果主节点挂了，会选举出一个新的主节点。
Elasticsearch最外层的是Index（相当于数据库 表的概念）；一个Index的数据我们可以分发到不同的Node上进行存储，这个操作就叫做分片。
数据写入的时候是写到主分片，副本分片会复制主分片的数据，读取的时候主分片和副本分片都可以读。
image.png
4.1 数据写入
image.png
集群上的每个节点都是coordinating node（协调节点），协调节点表明这个节点可以做路由。比如节点1接收到了请求，但发现这个请求的数据应该是由节点2处理（因为主分片在节点2上），所以会把请求转发到节点2上。
image.png
- Elasticsearch会把数据先写入内存缓冲区，然后每隔1s刷新到文件系统缓存区（当数据被刷新到文件系统缓冲区以后，数据才可以被检索到）。所以：Elasticsearch写入的数据需要1s才能查询到
- 为了防止节点宕机，内存中的数据丢失，Elasticsearch会另写一份数据到日志文件上，但最开始的还是写到内存缓冲区，每隔5s才会将缓冲区的刷到磁盘中。所以：Elasticsearch某个节点如果挂了，可能会造成有5s的数据丢失。
- 等到磁盘上的translog文件大到一定程度或者超过了30分钟，会触发commit操作，将内存中的segement文件异步刷到磁盘中，完成持久化操作。
写内存缓冲区（定时去生成segement，生成translog），能够让数据能被索引、被持久化。最后通过commit完成一次的持久化。
4.2 数据更新和删除
给对应的doc记录打上.del标识，如果是删除操作就打上delete状态，如果是更新操作就把原来的doc标志为delete，然后重新新写入一条数据。
每隔1s会生成一个segement 文件，那segement文件会越来越多越来越多。Elasticsearch会有一个merge任务，会将多个segement文件合并成一个segement文件。在合并的过程中，会把带有delete状态的doc给物理删除掉。
4.3 数据查询
根据ID去查询具体的doc的流程：
- 检索内存的Translog文件
- 检索硬盘的Translog文件
- 检索硬盘的Segement文件
根据query去匹配doc的流程：
- 同时去查询内存和硬盘的Segement文件
image.png
Elasticsearch查询又分可以为三个阶段：
- QUERY_AND_FETCH（查询完就返回整个Doc内容）
- QUERY_THEN_FETCH（先查询出对应的Doc id ，然后再根据Doc id 匹配去对应的文档）
- DFS_QUERY_THEN_FETCH（先算分，再查询）
image.png
QUERY_THEN_FETCH总体的流程流程大概是：
- 客户端请求发送到集群的某个节点上。集群上的每个节点都是coordinate node（协调节点）
- 然后协调节点将搜索的请求转发到所有分片上（主分片和副本分片都行）
- 每个分片将自己搜索出的结果(doc id)返回给协调节点，由协调节点进行数据的合并、排序、分页等操作，产出最终结果。
- 接着由协调节点根据 doc id 去各个节点上拉取实际的 document 数据，最终返回给客户端。
