33.ES集群规划—整体规划

2022-05-27 本文已影响0人大勇任卷舒

集群规划

集群大小设置的依据：
- ES JVM heap 最大可以设置32G
- 30G heap大概能处理10T 的数据量，如果内存很大如128G，可以在一台机器上运行多个ES节点
两类应用场景：
- 用于构建业务搜索功能模块，且多是垂直领域的搜索
  - 数据量级几千万到数十亿级别，一般2-4台机器规模
- 用于大规模数据的实时OLAP（联机处理分析），如ELK Stack，数据规模可能达到千亿或更多
  - 几十到上百节点的规模
集群节点的角色分配
- 节点角色：
  - master : node.roles: [ master ]
  - DataNode: node.roles: [ data ]
  - Cordinating only node： node.roles: [ ]
节点角色的分配：
- 小规模集群，不需严格区分
- 重大规模集群，应考虑单独的角色充当，特别是并发查询量大，查询的合并量大，可以增加独立的协调节点
避免数据脏写
- ES7集群自主控制主节点状况
  - 且在新版本中启动了一个新的集群时需要有cluster.initial_master_nodes 初始化集群列表
- ES7中discovery.zen 配置失效，新配置为：
中大规模集群中常用的配置：
- Master 和 DataNode 角色分离，配置奇数个master
- 延长ping master的等待时长： discovery.request_peers_timeout : 30 ，默认为3s，其他节点ping主节点多长时间没有响应就认为主节点不可用
索引分片数和副本数设置
- 索引的分片数在创建索引的时候指定，一旦创建不可修改
- 分片设置的参考原则：
  - ES推荐的JVM对空间为30~32G，所以把你的分片最大容量限制为30G，然后再对分片数量做合理估算
  - 根据节点数按照1.5~3倍的原则来创建分片
  - 对于基于日期的索引需求，且对索引数据的搜索场景非常少，也许这些索引量很大，但每个索引的数据量不大于1G , 对于这类场景，建议只需要为索引分配1个分片
分片设置副本：
- 为保证高可用，副本数量设置为2即可，要求集群至少要有3个节点来分开存放主分片、副本
- 如发现并发量大时，查询性能会下降，可增加副本数，来提升并发查询能力

PUT /my_index_name/_settings
{
  "number_of_replicas": 2
}

33.ES集群规划—整体规划

集群规划

猜你喜欢

热点阅读