一、简介

1. 什么是elasticsearch

ElasticSearch是一个基于Lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

全文搜索属于最常见的需求，开源的Elasticsearch是目前全文搜索引擎的首选。
它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。

突出的优点

• 为分布式而生，隐藏了分布式本身的复杂性
• 分布式的实时文件存储，每个字段都被索引并可被搜索
• 实时分析的分布式搜索引擎
• 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据
• 横向可扩展性：只需要增加一台服务器，做一点儿配置，启动一下ES进程就可以并入集群
• Elasticsearch提供了Restful API，使用json格式，这使得它非常利于与外部交互

2. 什么是Lucene

Lucene 是一个高效的，基于Java的全文搜索库，提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。

突出的优点
Lucene作为一个全文检索引擎，其具有如下突出的优点：

• 索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。

• 在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。

• 优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。

• 设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。

• 已经默认实现了一套强大的查询引擎，用户无需自己编写代码即可使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search[11]）、分组查询等等。

3. 什么是全文搜索

我们生活中的数据总体分为两种：

• 结构化数据： 指具有固定格式或有限长度的数据，如数据库，元数据等。
• 非结构化数据（全文数据）： 指不定长或无固定格式的数据，如邮件，word文档等。

按照数据的分类，搜索也就分为两种：

• 对结构化数据的搜索 ：如对数据库的搜索，用SQL语句。再如对元数据的搜索，如利用windows搜索对文件名，类型，修改时间进行搜索等。
• 对非结构化数据的搜索 ：如利用windows的搜索也可以搜索文件内容，Linux下的grep命令，再如用Google和百度可以搜索大量内容数据。

对非结构化数据也即对全文数据的搜索主要有两种方法：

• 顺序扫描法 (Serial Scanning)：所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容，只是相当的慢。如果你有一个80G硬盘，如果想在上面找到一个内容包含某字符串的文件，不花他几个小时，怕是做不到。
• 全文检索(Full-text Search)：有人可能会说，对非结构化数据顺序扫描很慢，对结构化数据的搜索却相对较快（由于结构化数据有一定的结构可以采取一定的搜索算法加快速度），那么把我们的非结构化数据想办法弄得有一定结构不就行了吗？这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search) 。

全文检索过程

4. Elasticsearch与Solr

Solr是用Java编写、运行在Servlet容器（如 Apache Tomcat 或Jetty）的一个独立的全文搜索服务器。 Solr采用了 Lucene Java 搜索库为核心的全文索引和搜索，并具有类似REST的HTTP/XML和JSON的API。Solr强大的外部配置功能使得无需进行Java编码，便可对 其进行调整以适应多种类型的应用程序。Solr有一个插件架构，以支持更多的高级定制。

优点：

• Solr有一个更大、更成熟的用户、开发和贡献者社区。
• 支持添加多种格式的索引，如：HTML、PDF、微软 Office 系列软件格式以及 JSON、XML、CSV 等纯文本格式。
• Solr比较成熟、稳定。
• 不考虑建索引的同时进行搜索，速度更快

缺点：

• 建立索引时，搜索效率下降，实时索引搜索效率不高
• 随着数据量的增加，Solr的搜索效率会变得更低，而Elasticsearch却没有明显的变化

综上，Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。

5. 使用案例：

1. 维基百科使用Elasticsearch来进行全文搜做并高亮显示关键词，以及提供search-as-you-type、did-you-mean等搜索建议功能。
2. 英国卫报使用Elasticsearch来处理访客日志，以便能将公众对不同文章的反应实时地反馈给各位编辑。
3. StackOverflow将全文搜索与地理位置和相关信息进行结合，以提供more-like-this相关问题的展现。
4. GitHub使用Elasticsearch来检索超过1300亿行代码。
5. 每天，Goldman Sachs使用它来处理5TB数据的索引，还有很多投行使用它来分析股票市场的变动。
6. Sony公司使用elasticsearch 作为信息搜索引擎

以上来自参考：百度百科、搜索引擎选型调研、全文检索的基本原理