搜索技术 Solr 入门详解

2018-06-18 本文已影响41人七弦桐语

一、介绍

企业站内搜索技术选型

在一些大型门户网站、电子商务网站等都需要站内搜索功能，使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求，比如：搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等，这里就需要使用全文检索技术实现搜索功能。

1. 单独使用Lucene实现

单独使用Lucene实现站内搜索需要开发的工作量较大，主要表现在：索引维护、索引性能优化、搜索性能优化等，因此不建议采用。

2. 使用Google或Baidu接口

通过第三方搜索引擎提供的接口实现站内搜索，这样和第三方引擎系统依赖紧密，不方便扩展，不建议采用。

3. 使用Solr实现

基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量，因为Solr提供了较为完备的搜索引擎解决方案，因此在门户、论坛等系统中常用此方案。

什么是Solr

Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化

Solr可以独立运行，运行在 Jetty、Tomcat 等这些 Servlet 容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除、更新索引。Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回 Xml、json 等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。

solr是基于lucene开发企业级搜索服务器，实际上就是封装了lucene。

Solr 是一个独立的企业级搜索应用服务器，它对外提供类似于 Web-service的API 接口。用户可以通过 http 请求，向搜索引擎服务器提交一定格式的文件，生成索引；也可以通过提出查找请求，并得到返回结果

Solr类似 webservice，调用接口，实现增加，修改，删除，查询索引库。

solr特性

高级的全文搜索功能
专为高通量的网络流量进行的优化
基于开放接口（xml和http）的标准
综合的html管理界面
可伸缩性－能够有效地复制到另外一个Solr搜索服务器
使用xml配置达到灵活性和适配性
可扩展的插件体系

Solr与Lucene的区别

Lucene是一个开放源代码的全文检索引擎工具包，它不是一个完整的全文检索引擎，Lucene提供了完整的查询引擎和索引引擎，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者以Lucene为基础构建全文检索引擎。

Solr的目标是打造一款企业级的搜索引擎系统，它是一个搜索引擎服务，可以独立运行，通过Solr可以非常快速的构建企业的搜索引擎，通过Solr也可以高效的完成站内搜索功能。

Solr 类似 webservice，提供接口，调用接口，发送一些特点语句，实现增加，删除，修改，查询。

二、solr 安装（mac）

官网

首先安装 jdk 和 jre
安装solr：brew install solr安装solr，可以通过brew edit solr修改要安装的版本
启动 solr：solr start。
- 默认端口号8083，如果该端口被占用，则会自动切换可用的端口。
  solr start
- 启动成功后再浏览器输入URLhttp://127.0.0.1:8983，访问 solr 后台管理界面
  浏览器效果
创建 core(可以理解为mysql中的数据库，即一个服务可以有多个库)：solr create -c test_core
创建成功的 core
测试分词

测试分词

由于solr自带的分词器无法将中文根据语义分词，需要引入中文分词器 IKAnalyzer

三、IKAnalyzer 安装

下载地址：https://github.com/jxlwqq/Installing-Solr-and-indexing-MySQL-on-macOS/tree/master/file

1. 下载必要的组件

IKAnalyzer jar 包: ik-analyzer-solr5-5.x.jar
IKAnalyzer 配置文件: IKAnalyzer.cfg.xml
词库: mydict.dic 和 stopword.dic

下载后，将相关文件复制到相应的目录中，操作目录如下：

cp ik-analyzer-solr5-5.x.jar /usr/local/Cellar/solr/7.3.1/server/solr-webapp/webapp/WEB-INF/lib/ 
mkdir /usr/local/Cellar/solr/7.3.1/server/solr-webapp/webapp/WEB-INF/lib/classes/

cp IKAnalyzer.cfg.xml /usr/local/Cellar/solr/7.3.1/server/solr-webapp/webapp/WEB-INF/lib/classes/
cp mydict.dic /usr/local/Cellar/solr/7.3.1/server/solr-webapp/webapp/WEB-INF/lib/classes/
cp stopword.dic /usr/local/Cellar/solr/7.3.1/server/solr-webapp/webapp/WEB-INF/lib/classes/

2. 修改 managed-schema 文件

// test_core 仓库下
vi /usr/local/Cellar/solr/7.3.1/server/solr/test_core/conf/managed-schema

在schema标签内追加以下内容：

<fieldType name="text_ik" class="solr.TextField">
    <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
<field name="text_ik" type="text_ik" indexed="true" stored="true" multiValued="false"/>

3. 重启测试

进行重启：solr restart
进行测试：刷新页面，进入到 test_core 仓库下

测试页面2

测试成功！

四、solr 常用命令

其他命令

查看版本：solr -version
重启：solr -version
关闭：solr stop -all（或者指定端口号：solr stop -p 8983）
创建集合：solr create -c [集合名称]
删除集合：solr delete -c [集合名称]

删除数据

<delete>
    <query>*:*</query>
</delete>
<commit/>

solr 删除数据

删除字段

{
    "delete-field" : {
        "name" : "字段名称"
    },
    "delete-field" : {
        "name" : "字段名称"
    }
}

提交的地址

POST    http://localhost:8983/solr/集合名称/schema

添加字段

name: 字段名称
type: 字段类型
stored: 是否保存
indexed: 是否索引

{
    "add-field" : {
        "name" : "字段名称",
        "type" : "text_ik",
        "stored" : "true",
        "indexed" : "true"
    },
    "add-field" : {
        "name" : "字段名称",
        "type" : "text_ik",
        "stored" : "true"
    }
}

提交地址

POST    http://localhost:8983/solr/集合名称/schema

还可以在管理员界面添加

solr 管理页面添加字段

参考资料