ElasticSearch的segment file与merge

1、概念

（1）segment file：每次refresh以后，同一个shard的数据就会生成一个segment file。一个shard由多个segment file组成。
（2）merge：ES在内部会对属于同个shard的segment file进行merge，merge的结果时一个更大的segment file。

2、choice

• merge的动作越少，merge带来的压力也就越少，写入性能会更好；但是segment file的文件数就越多，消耗文件句柄、内存、cpu也就越多；并且查询需要check每个segment file，查询性能也更差。
• merge的动作越频繁，则segment file越少，毋庸置疑查询的性能越好，但是频繁的merge会损害写入性能。

3、other

• 被标记删除的数据是在merge的时候才会被真正的删除。
• merge的时候会去修改commit point文件。
• 当merge的速度远落后于写入的速度时，ES会自动把写入的请求并发数限制为1，以防segment数过多。

4、Merge API

POST /INDEXNAME/_optimize?max_num_segments=1

• optimize API不要用于dynamic index，主要适用于不会再改变的index，例如按天、按周等存储的分片。
• optimize API不会被node throttle，会消耗许多的I/O，会导致search资源不足甚至节点不响应。

5、参数