19- Solr集群部署

这个章节只整理一下solr集群的部署方法

solr提供集群模式的example

打开cmd，进入solr文件夹下的bin目录
执行命令

solr -e cloud

使用命令创建 创建成功

图片中红框圈起来的是命令执行过程中需要我们输入的地方，如果不输入都使用默认值也没有关系（直接回车就好）

命令执行完毕之后，就表示solr集群创建成功了，我可以使用访问solr进行访问

访问solr

访问之后我们发现solr的管理界面中多了cloud这个选项。这表示我们现在是使用的solr是以集群的模式运行的。

虽说现在solr集群已经运行起来了，但是和我们想要的solr集群还是有些差别的。
我们使用的 solr -e cloud命令创建的solr集群，使用的是solr内置的zookeeper。在大多数情况下，zookeeper应该是单独部署在其他服务器上的，所以我们还需要把内置的zookeeper替换成我们自己的zookeeper服务。

zookeeper

通过这个日志输出我们可以知道，solr把配置文件上传到了zk，zk监听的是9983端口，我们使用zk图形化工具查看一下，zk中存放的配置文件

zkui

相关的配置文件已经上传到了内置的zk中。

创建自己的Solr集群

本次使用的是solr-6.6.0版本

创建zk集群

根据上一遍文章中的内容，建立zookeeper单机伪集群

上传solr配置文件到zk集群

有两种方式

1. ./server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:2181,localhost:2182,localhost:2183 -cmd upconfig -confname default -confdir server/solr/configsets/basic_configs/conf
2. /home/zhouyang/solr-6.6.0/bin/solr zk upconfig -n default -d /home/zhouyang/solr-6.6.0/server/solr/configsets/basic_configs/conf

创建solr node

这里需要创建solr实例的存放位置，我这里选择的是/var/solr目录下面
创建 node1 node2两个文件夹
在solr根目录下的server/solr文件中拷贝solr.xml到node1 node2，并做修改

其中主要修改点就是host 和hostPort，这两个属性会提交到zk中作为存活节点的地址

<?xml version="1.0" encoding="UTF-8" ?>
<solr>
  <solrcloud>
    <str name="host">${host:192.168.196.128}</str>
    <int name="hostPort">${jetty.port:8983}</int>
    <str name="hostContext">${hostContext:solr}</str>

    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>

    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <int name="distribUpdateSoTimeout">${distribUpdateSoTimeout:600000}</int>
    <int name="distribUpdateConnTimeout">${distribUpdateConnTimeout:60000}</int>
    <str name="zkCredentialsProvider">${zkCredentialsProvider:org.apache.solr.common.cloud.DefaultZkCredentialsProvider}</str>
    <str name="zkACLProvider">${zkACLProvider:org.apache.solr.common.cloud.DefaultZkACLProvider}</str>
  </solrcloud>
  <shardHandlerFactory name="shardHandlerFactory"
    class="HttpShardHandlerFactory">
    <int name="socketTimeout">${socketTimeout:600000}</int>
    <int name="connTimeout">${connTimeout:60000}</int>
  </shardHandlerFactory>
</solr>

启动命令

执行下面的命令
/home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force

/home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force

其中 -c 表示以cloud集群的方式启动， -z 表示指定zk集群的地址， -s 表示指定启动的这个solr node 实例的solrhome目录，用来存放这个实例的索引等数据

#!/bin/bash

name=$1
action=$2

echo "name is ${name} action is ${action}"

if [ ${name} = "zk" -o ${name} = "zoo" ]; then
    echo "${action} zookeeper"
    if [ ${action} = "start" ]; then
        /opt/zookeeper_1/bin/zkServer.sh start
        /opt/zookeeper_2/bin/zkServer.sh start
        /opt/zookeeper_3/bin/zkServer.sh start
    elif [ ${action} = "stop" ]; then
        /opt/zookeeper_1/bin/zkServer.sh stop
        /opt/zookeeper_2/bin/zkServer.sh stop
        /opt/zookeeper_3/bin/zkServer.sh stop
    else
        echo "action ${action} error "
    fi
elif [ ${name} = "solr"  ]; then
    echo "${action} solr"
    if [ ${action} = "start" ]; then
        /home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force
        /home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force
    elif [ ${action} = "stop" ]; then
        /home/zhouyang/solr-6.6.0/bin/solr stop -all
    else
        echo "${action} error"
    fi

else
    echo "${name} error"
fi
echo "${name} ${action} finish"

启动成功之后就solr 集群就算是部署完成了

添加collection

有两种方式
1.使用rest api命令添加collection

这里使用的configName，就是在上传配置文件到zk的时候指定的configName

http://localhost:8983/solr/admin/collections?action=CREATE&name=collectionName&numShards=2&replicationFactor=2&maxShar dsPerNode=2&createNodeSet=nodelist&collection.configName=configName
其中createNodeSet的意思是，可以使用那些node去创建shard_replication，如果没有指定这个参数，则默认在所有存活的node节点里创建shard_replication

2. 使用 solr create 命令
   下面这个命令有两个作用
   1、使用-d参数后面的路径的配置文件，创建collection
   2、同时把配置文件上传到zk，使用confName作为配置名称
   /home/zhouyang/solr-6.6.0/bin/solr create -c collectionName -d /opt/core_bingdu_conf -n confName -s 3 -rf 2 -port 8983

create参数 执行create命令 已经上传到zk 创建collection成功

配置完成

总结一下配置solr集群的思路
首先solr是依赖zk来实现配置信息的同步，和存活节点，主从的自动切换

所以要先配置好zk，zk的集群配置还是相对简单的，然后上传一些配置到zk

然后就是需要把solr以集群的模式启动起来，让solr能够从zk读取到上传的配置。

1. 修改solr.in.sh,添加ZK_HOST参数
2. 在启动命令中使用 -c -z 参数指定zk服务列表

因为我们创建的solr集群是单机伪集群，需要同时在创建命令中指定solrhome目录。每个solr实例创建的时候需要把自己的地址上报给zk，所以需要在每个节点的solrhome目录中添加solr.xml文件，配置solr实例的地址和端口。如果在命令中也指定了端口，以命令中指定的端口为准。

这样集群就建立起来了，然后我们就可以使用一些http api来实现创建collection等操作了。

Solr中collection shard replication core等概念

一个collection中存放的是一个数据源的所有的索引，一个collection可以被分为多个shard（分片），每个shard中存放不同的数据，一个collection中的shards可以分配到不同的solr实例中。为了保证服务的高可用行，每个shard还会根据配置创建多个replication（复本），以防止某个shard损坏造成的，这个shard数据不可用。多个shard复本之间会选出一个leader，对外提供服务，当leader宕机，会重新推举一个leader。

从图上面我们可以知道，collection是跨实例的，一个collection的索引可以存放在不同的solr实例中。
core是属于某个实例的，这个实例上有多少个collection的shard的副本存在就有多少个core

关系图

关系通 和上面的图片无关。关系图中是有3个solr实例，每个shard有3个副本