es配置详解
1、elasticsearch重要配置项解释:
集群的名字
cluster.name: elasticsearch-wyl
配置当前节点的名字,每个节点的名字都应该是唯一的
node.name: "node1"
es存储数据的地方
path.data: "/opt/elasticsearch/data"
es存储日志的地方
path.logs: "/opt/elasticsearch/logs"
表示这个节点是否可以充当主节点,以及点是否充当数据节点。
node.master: true
node.data: false
绑定host,0.0.0.0代表当前节点的ip
network.host: "0.0.0.0"
这个是对外提供http服务的端口
http.port: 9200
discovery.zen.ping.multicast.enabled: false
discovery.zen.fd.ping_timeout: 100s
discovery.zen.ping.timeout: 100s
discovery.zen.minimum_master_nodes: 3
discovery.zen.ping.unicast.hosts:["172.18.1.22:9300","172.18.1.23:9300","172.18.1.24:9300","172.18.1.25:9300","172.18.1.26:9300"]
discovery.zen.ping.multicast.enabled 这个设置把组播的自动发现给关闭了,为了防止其他机器上的节点自动连入。
discovery.zen.fd.ping_timeout和discovery.zen.ping.timeout是设置了节点与节点之间的连接ping时长
discovery.zen.minimum_master_nodes 这个设置为了避免脑裂。比如5个节点的集群,如果设置为3,那么当一台节点脱离后,按照上面的情况重新选择master要超过3个投票才可以成为master节点,并不会出现脑裂现象。
discovery.zen.ping.unicast.hosts 这个设置了自动发现的节点。
action.auto_create_index: false 关闭了自动创建索引
2、elasticsearch选举master机制
对所有可以成为master的节点根据nodeId排序,每次选举每个节点都把自己所知道节点排一次序,然后选出第一个(第0位)节点,暂且认为它是master节点。
如果对某个节点的投票数达到一定的值(可以成为master节点数n/2+1)并且该节点自己也选举自己,那这个节点就是master。否则重新选举。
3、可能产生“脑裂”的原因?
(1)网络原因 内网一般不会出现此问题,可以监控内网流量状态。外网的网络出现问题的可能性大些。
(2)节点负载
由于master节点与data节点都是混合在一起的,所以当工作节点的负载较大(确实也较大)时,导致对应的ES实例停止响应,而这台服务器如果正充当着master节点的身份,那么一部分节点就会认为这个master节点失效了,故重新选举新的节点,这时就出现了脑裂;
这里最好是master节点和数据节点分开。
(3)回收内存 由于data节点上ES进程占用的内存较大,较大规模的内存回收操作也能造成ES进程失去响应。
4、应对“脑裂”的解决办法
推测出原因应该是由于节点负载导致了master进程停止响应,继而导致了部分节点对于master的选择出现了分歧。为此,一个直观的解决方案便是将master节点与data节点分离。
可以用上面说到的配置来限制其角色:
node.master: true
node.data: false
其他节点设置,这样master节点和data节点就分开了
node.master: false
node.data: true
discovery.zen.ping_timeout(默认值是3秒,可以设置为120s):默认情况下,一个节点会认为,如果master节点在3秒之内没有应答,那么这个节点就是死掉了,而增加这个值,会增加节点等待响应的时间,从一定程度上会减少误判。
discovery.zen.minimum_master_nodes(默认是1):这个参数控制的是,一个节点需要看到的具有master节点资格的最小数量,然后才能在集群中做操作。官方的推荐值是(N/2)+1(向下取整),其中N是具有master资格的节点的数量。