Elasticsearch底层索引控制

2017-03-27 本文已影响134人 GhostStories

如何使用不同评分公式及其特性
如何使用不同的倒排表格式极其特性
如何处理准实时搜索、实时读取、以及搜索器重新打开之后的动作
配置搜索事务日志以满足应用需求，并查看它对部署的影响

欢迎访问本人博客：http://wangnan.tech

如何使用不同评分公式及其特性

2012年Apache lucene 4.0发布之后，用户便可以改变默认的基于TF/IDF的评分算法了，这是因为lucene的API做了一些改变，使得用户能轻松地修改和扩展该评分公式

新增的相似度模型：

Okipi BM25模型
- 一种基于概率模型的相似度模型，可用于估算文档与给定查询匹配的概率
- 在短文本文档上的效果最好，因为这种场景中重复词项对文档的总体得分损害较大
随机偏离模型(Divergence from randomness)
- 是一种基于同名概率模型相似度的模型
- 随机偏离模型在类似自然语言的文本上效果较好
基于信息的模型(Infomation based)
- 与随机偏离模型类型，也在类似自然语言的文本上拥有较好的效果

我们希望name字段使用BM25模型，我们需要添加similarity字段

lucene 4.0的另外一个显著改变就是允许用户改变索引文件编码方式，在此之前，只能通过修改lucene内核代码来实现，而lucene 4.0出现后，它提供了灵活的索引方式，允许用户改变倒排索引的写入方式

为什么用户需要修改lucene索引写入格式？理由之一是性能

需要在字段配置文件中添加一个postings_format属性，并将具体的编解码器所对应的属性值赋给它

在索引期新文档会写入索引段，索引段是独立的lucene索引，这意味着查询时可以与索引并行的，只是不会有新增的索引段被添加到可被搜索的索引段集合之中

Apache lucene通过创建后续的segment_N文件来实现此功能，且该文件列举了索引中的索引段，这个过程称之为提交(committing)

Lucene以一种安全的方式来执行该操作，能确保索引更改以原子操作方式写入索引

尽管我们向索引中添加了文档，但它并没有执行提交commit操作，

lucene使用了一个叫做searcher的抽象类类执行新索引段的加入

searcher重新打开的过程叫做刷新（refresh）

在例子中可以使用下面的命令：

curl -xGET localhost:9200/test/_refresh

可以更改elasticsearch中的index.refresh_interval参数或者使用配置更新相关的api

刷新操作是耗资源的，因此刷新间隔时间越长，索引速度越快

如果需要长时间高速建索引，并且在建索引结束之前暂时不执行查询，那么可以考虑将index.refresh_interval参数设置为-1.然后在建索引结束以后再将改参数恢复为默认值

lucene 能保证索引的一致性，但是这并不能保证当往索引中写数据失败时不会损失数据，；另外，频繁提交操作会导致严重的性能问题

elasticsearch通过使用事务日志（transaction log）来解决这些问题，它能保存所有未提交的事务，而es会不时创建一个新的日志文件用于记录每个事务的后续操作，当有错误发生时就会检查事务日志，必要是会再次执行某些操作，以确保没有丢失任何更改的信息

事务日志中的信息与存储介质之间的同步，称为事务日志刷新（flushing）

除了自动的事务日志刷新以外，也可以使用对应的api

curl -XGET localhost:9200/flush

index.translog.flush_threshold_period 该参数的默认值为30分钟，它控制了强制自动事务日志刷新的时间间隔
index.translog.flush_threshold_ops
该参数确定了一个最大操作数，在上一次事务日志刷新以后，当索引更改操作次数超过了该参数值时，强制进行事务日志刷新操作，默认为5000
index.trans.flush_threshold_size
该参数确定了事务日志的最大容量，当容量大于等于该参数值，就强行进行事务日志刷新操作，默认为200MB
index.translog.disable_flush
禁用事务日志刷新

（注：内容整理自《深入理解elasticsearch》）