40.冷热集群搭建及使用实践

2022-06-30 本文已影响0人大勇任卷舒

40.1 集群规格选型

根据业务数据量及读写性能要求选择合适的冷热节点规格
- 副本数量：副本有利于增加数据的可靠性，但同时会增加存储成本
- 数据膨胀：除原始数据外，ES 需要存储索引、列数据等，在应用编码压缩等技术后，一般膨胀10%
- 内部任务开销：ES 占用约20%的磁盘空间，用于 segment 合并、ES Translog、日志等。
- 操作系统预留：Linux 操作系统默认为 root 用户预留5%的磁盘空间，用于关键流程处理、系统恢复、防止磁盘碎片化问题等。
- 预留空间：为保证集群的正常运行建议预留50%的存储空间
存储量计算：
- 根据冷热数据各自数据量及要求保留时间，计算出冷热数据源数据量，然后使用如下公式计算出
- 冷热节点各自的磁盘需求量实际空间 = 源数据 * (1 + 副本数量) * (1 + 数据膨胀) / (1 - 内部任务开销) / (1 - 操作系统预留) ≈ 源数据 * (1 + 副本数量) * 1.45 ES建议存储容量 = 源数据 * (1 + 副本数量) * 1.45 * （1 + 预留空间） ≈ 源数据 * (1 + 副本数量) * 2.2

40.2 计算资源预估

ES 的计算资源主要消耗在写入和查询过程，而不同业务场景在写入和查询方面的复杂度不同、比重不同，导致计算资源相比存储资源较难评估
- 日志场景：日志属于典型的写多读少类场景，计算资源主要消耗在写入过程中
- Metric 及 APM 等结构化数据场景
- 站内搜索及应用搜索等搜索场景

40.3 搭建集群自建

对热节点增加如下配置

node.attr.temperature: hot

对冷节点增加如下配置

node.attr.temperature: warm

使用如下命令可以验证节点冷热属性

GET _cat/nodeattrs?v&h=node,attr,value&s=attr:desc

node attr value
node1 temperature hot
node2 temperature hot
node3 temperature warm
node4 temperature hot
node5 temperature warm
...

40.冷热集群搭建及使用实践

40.1 集群规格选型

40.2 计算资源预估

40.3 搭建集群自建

猜你喜欢

热点阅读