es写入流程

当节点收到客户端的写入请求,如果当前节点不是master节点,会将请求转发给master,master根据要写入的索引,从集群索引信息中判断是否要生成索引,没有索引则先生成索引,有则转发写入,写入的时候,如果有副本分片,会将写入请求同时转发给副本分片所在的节点上,如果有一半确定写入成功,则返回结果写入成功.
对于某一个节点来说,首先接受到请求,会先执行双写的操作,也就是写buffer和写translog,因为直接写磁盘设计到数据结构的转化,此处开销较大,所以写入buffer,而写入buffer又会存在宕机后无法恢复的风险,所以同时也写入translog,以便宕机后恢复,写入buffer后需要定期将buffer数据刷新到磁盘上才能提供查询,这一个刷新叫refresh,这个时间默认为1s,实际上es在实现buffer刷新到磁盘上时并没有直接就刷到磁盘了,而是刷到了os的cache上,但是此时cache就相当于从磁盘上拉取的数据做缓存一样,也是能够提供查询的,从cache真正的刷新到磁盘这个操作叫flush操作,默认30分钟操作,同时如果translog如果满了也会触发flush操作,当每一次flush操作,除了清空buffer和translog,还生成了一个segment,在lucene中,因为一个segment同时只能被一个写入索引打开,所以每次刷新生成一个segement而不是在一个segement上修改是可以提高并发的,但是segement过多时又会触发另外一个问题,就是查询的时候需要遍历所有的segement,在此基础上又出现了一个动作,叫做merge操作,merge就是把多个小的segement合并成一个大的segement,这个操作其实类似mysql的purge操作,就是把binlog进行合并,合并的内容除了小的segement变为大的segement还做了另外一件事情,就是删除掉设置删除的文档,luncene在设计的时候,对于删除文档,为了提高并发和性能,并没有真正的去立刻就删掉,而是将其docid存入一个.del的文件当中,当查询的时候,在去这个.del文件过滤下,就可以实现删掉的数据不会被查询出来的情况,所以merge的操作还有一步就是根据.del文件的docid去真正的删除掉这个文档.