《lucene in action》笔记：构建索引
1.lucene如何对搜索内容进行建模
1.1文档(document)和域(field)
文档是lucene索引和搜索的原子单位。文档为包含一个或多个域的容器，而域则依次包含真正的被搜索的内容。比如一篇文章就是一个文档，标题是一个域，标题内容为域值，正文也是一个域，正文内容为域值。lucene可以针对域进行三种操作：
- 域值可以被索引
- 域被索引后，可以选择性的存储项向量。项向量(TermVector)可以被用作相似查找
- 域值还可以被单独存储
2.理解索引过程
2.1提取文本和创建文档
使用lucene索引数据时，必须先从数据中提取纯文本格式信息，以便lucene识别该文本并建立对应的lucene文档。tika框架可以轻易的从各种格式的文件中提取文本信息
2.2分析文档
一旦建立起lucene文档和域，就可以调用IndexWriter对象的addDocument方法将数据传递给lucene进行索引操作了。在索引操作时，lucene首先分析文本，将文本数据分割成词汇单元，然后对它们执行一些可选操作。文本分析包含了词汇切割、大小写转换、移除停用词等操作。分析过程的步骤很重要，这一步会产生大量的词汇单元，随后这些词汇单元将被写入索引文件中。
2.3向索引添加文档
对文档分析完毕之后，就可以将分析结果写入索引文件了。lucene将输入数据以一种倒排索引的数据结构进行存储。lucene索引都包含一个或者多个段(segment)，每个段都是一个独立的索引，它包含整个文档索引的一个子集。
3.基本索引操作
3.1向索引添加文档
添加文档的方法有两个：
- addDocument(Document): 使用默认分析器添加文档，该文档分析器在创建IndexWriter对象时指定
- addDocument(Document, Analyzer): 使用指定的分析器添加文档
3.2删除索引中的文档
IndexWriter提供了各种方法来从索引中删除文档
- deleteDocuments(Term): 负责删除包含项的所有文档
- deleteDocuments(Term[]):负责删除包含项数组任一元素的所有文档
- deleteDocuments(Query): 负责删除匹配查询语句的所有文档
- deleteDocuments(Query[]): 负责删除匹配查询语句数组任一元素的所有文档
- deleteAll(): 负责删除索引中的所有文档
3.3更新索引中的文档
IndexWriter提供了两个简便的方法来更新索引中的文档
- updateDocument(Term, Document):首先删除包含Term变量的所有文档，然后使用writer的默认分析器添加新文档
- updateDocument(Term, Document, Analyzer):功能与上述一致，区别在于可以指定分析器添加文档
4.域选项
4.1域索引选项
- Index.ANALYZED:使用分析器将域值分解成词汇单元，并建立索引
- Index.NOT_ANALYZED: 不使用分析器分解阈值，并建立索引
- Index.ANALYZED_NO_NORMS: 与Index.ANALYZED类似，但不存储norms信息
- Index.NOT_ANALYZED_NO_NORMS: 与Index.NOT_ANALYZED类似，但不存储norm信息
- Index.NO：不建立索引
4.2域存储选项
- Store.YES: 指定存储阈值
- Store.NO: 指定不存储阈值
4.3域排序选项
如果需要按照某一域值对匹配的文档集合进行排序，那么该阈值应该被正确的索引以及存储。如果域是数值类型，在将它加入文档和进行排序时，要用NumericField类来表示
4.4多值域
文档的一个域可能有多个值，可以用document.add()多个域相同但域值不同的对象
5.对文档和域进行加权操作
5.1文档加权操作
调用加权操作的API只包含一个方法：documents.setBoost(float)
5.2域加权操作
使用field.setBoost(float)对域进行加权
5.3 加权基准
在索引期间，文档中域的所有加权都被合并成一个单一的浮点数。除了域，文档也有自己的加权值。这些权值被合并到一处，并被编码(量化)成一个单一的字节，作为域或文档信息的一部分存储起来。在搜索期间，被搜索域的norms都被加载到内存，并被解码还原为浮点数，然后用于计算相关性评分(relevance score)。
虽然norms是在索引期间首次进行计算的，后续还是可以使用IndexReader的setNorm方法对它进行修改的。
6.索引数字、日期和时间
6.1索引数字
使用NumricField可以对数字进行索引。每个数值都用特里结构(trie structure)进行索引，能实现高效的范围搜索或者过滤功能。
6.2索引日期和时间
同样使用NumricField索引时间。可以将时间转换成时间戳，在用NumricField
7.域截取
一些应用程序需要对尺寸未知的文档进行索引。IndexWriter允许对域进行截取后再索引它们。传入MaxFieldLength对象告知IndexWriter截取的长度。
8.近实时搜索
lucene通过调用IndexWriter中的对象方法实现近实时搜索：IndexReader getReader()。该方法能实时刷新缓冲区中新增或者删除的文档，然后创建新的包含这些文档的只读型IndexReader实例。
9.优化索引
lucene中索引的优化只是对段(segment)进行合并，这样可以提升搜索效率。思考下搜索功能需要访问各个段中的索引，减少了段的数量也就减少了扫描的次数。优化索引只能提高搜索速度而不是索引速度。IndexWriter提供了4个优化方法：
- optimize()将索引压缩至一个段，操作完成再返回
- optimize(int maxNumSegments)也称部分优化，将索引压缩为最多maxNumSegment个段
- optimize(boolean doWait)跟optimize()类似，若doWait参数传入false值，这样的话调用会立即执行，但合并工作是在后台运行的
- optimize(int maxNumSegments, boolean doWait)也是部分优化
注意索引优化会消耗大量的cpu和i/o资源。
10.并发、线程安全及锁机制
10.1线程安全和多虚拟机安全
- 任意数量的只读属性的IndexReader类都可以同时打开一个索引。
- 对于一个索引来说，一次只能打开一个Writer。lucene采用文件锁来保证只有一个writer打开索引
- 任意一个线程都可以共享同一个IndexReader类或者IndexWriter类
10.2索引锁机制
锁文件默认为write.lock，存在于索引目录内。
